ippolito_data624_wk5
Michael Ippolito
2023-06-19
KJ 7.2
Friedman (1991) introduced several benchmark data sets create by simulation. One of these simulations used the following nonlinear equation to create data:
\(y\ =\ 10sin(πx_1x_2)\ +\ 20(x_3\ −\ 0.5)^2\ +\ 10x_4\ +\ 5x_5\ +\ N(0,\ σ^2)\)
where the x values are random variables uniformly distributed between [0, 1] (there are also 5 other non-informative variables also created in the simulation). The package mlbench contains a function called mlbench.friedman1 that simulates these data:
library(mlbench)## Warning: package 'mlbench' was built under R version 4.2.3set.seed(200)
trainingData <- mlbench.friedman1(200, sd = 1)
## We convert the 'x' data from a matrix to a data frame
## One reason is that this will give the columns names.
trainingData$x <- data.frame(trainingData$x)
## Look at the data using
featurePlot(trainingData$x, trainingData$y)
## or other methods.
## This creates a list with a vector 'y' and a matrix
## of predictors 'x'. Also simulate a large test set to
## estimate the true error rate with good precision:
testData <- mlbench.friedman1(5000, sd = 1)
testData$x <- data.frame(testData$x)Tune several models on these data. For example:
library(caret)
knnModel <- train(x = trainingData$x,
y = trainingData$y,
method = "knn",
preProc = c("center", "scale"),
tuneLength = 10)
knnModel## k-Nearest Neighbors
##
## 200 samples
## 10 predictor
##
## Pre-processing: centered (10), scaled (10)
## Resampling: Bootstrapped (25 reps)
## Summary of sample sizes: 200, 200, 200, 200, 200, 200, ...
## Resampling results across tuning parameters:
##
## k RMSE Rsquared MAE
## 5 3.466085 0.5121775 2.816838
## 7 3.349428 0.5452823 2.727410
## 9 3.264276 0.5785990 2.660026
## 11 3.214216 0.6024244 2.603767
## 13 3.196510 0.6176570 2.591935
## 15 3.184173 0.6305506 2.577482
## 17 3.183130 0.6425367 2.567787
## 19 3.198752 0.6483184 2.592683
## 21 3.188993 0.6611428 2.588787
## 23 3.200458 0.6638353 2.604529
##
## RMSE was used to select the optimal model using the smallest value.
## The final value used for the model was k = 17.knnPred <- predict(knnModel, newdata = testData$x)
## The function 'postResample' can be used to get the test set
## perforamnce values
postResample(pred = knnPred, obs = testData$y)## RMSE Rsquared MAE
## 3.2040595 0.6819919 2.5683461First, set up a data frame for the results and set the cross-validation parameters.
# Results data frame
dfr2 <- data.frame(matrix(nrow=10, ncol=3))
colnames(dfr2) <- c('Model', 'Tuning.Parameters', 'RMSE')
# specify 10x cross-validation
ctrl <- trainControl(method='cv', number=10)
# Add the knn results
dfr2[1,] = data.frame(
Model='knn',
Tuning.Parameters=paste0('k=', knnModel$bestTune[['k']]),
RMSE=min(knnModel$results[['RMSE']])
)Train a MARS model.
# MARS model
marsGrid <- expand.grid(.degree=1:2, .nprune=2:10) # set tuning parameters
set.seed(77)
fitmars <- train(x=trainingData$x, y=trainingData$y, method='earth', tuneGrid=marsGrid, trControl=ctrl)
fitmars## Multivariate Adaptive Regression Spline
##
## 200 samples
## 10 predictor
##
## No pre-processing
## Resampling: Cross-Validated (10 fold)
## Summary of sample sizes: 180, 180, 180, 180, 180, 180, ...
## Resampling results across tuning parameters:
##
## degree nprune RMSE Rsquared MAE
## 1 2 4.332518 0.2580250 3.583138
## 1 3 3.531116 0.4971361 2.847628
## 1 4 2.583584 0.7215573 2.066850
## 1 5 2.306621 0.7722490 1.803281
## 1 6 2.276843 0.7872421 1.803911
## 1 7 1.760578 0.8748187 1.396112
## 1 8 1.680259 0.8835113 1.301416
## 1 9 1.637827 0.8884685 1.268083
## 1 10 1.612110 0.8936346 1.270820
## 2 2 4.332518 0.2580250 3.583138
## 2 3 3.531116 0.4971361 2.847628
## 2 4 2.583584 0.7215573 2.066850
## 2 5 2.318942 0.7712539 1.846089
## 2 6 2.258770 0.7915841 1.754221
## 2 7 1.781490 0.8734272 1.408319
## 2 8 1.668927 0.8871726 1.292712
## 2 9 1.531105 0.9025342 1.200333
## 2 10 1.390733 0.9217000 1.089712
##
## RMSE was used to select the optimal model using the smallest value.
## The final values used for the model were nprune = 10 and degree = 2.dfr2[2,] = data.frame(
Model='MARS',
Tuning.Parameters=paste0('degree=', fitmars$bestTune[['degree']], ', nprune=', fitmars$bestTune[['nprune']]),
RMSE=min(fitmars$results[['RMSE']])
)Train an SVM model.
# SVM model
set.seed(77)
fitsvm <- train(x=trainingData$x, y=trainingData$y, method='svmRadial', preProc=c('center', 'scale'), tuneLength=14, trControl=ctrl)
fitsvm## Support Vector Machines with Radial Basis Function Kernel
##
## 200 samples
## 10 predictor
##
## Pre-processing: centered (10), scaled (10)
## Resampling: Cross-Validated (10 fold)
## Summary of sample sizes: 180, 180, 180, 180, 180, 180, ...
## Resampling results across tuning parameters:
##
## C RMSE Rsquared MAE
## 0.25 2.504711 0.7920291 1.987328
## 0.50 2.238940 0.8074188 1.765284
## 1.00 2.045644 0.8309748 1.603663
## 2.00 1.944013 0.8478213 1.521230
## 4.00 1.868851 0.8597675 1.467140
## 8.00 1.854538 0.8628060 1.467624
## 16.00 1.852529 0.8623136 1.473951
## 32.00 1.852498 0.8623111 1.473953
## 64.00 1.852498 0.8623111 1.473953
## 128.00 1.852498 0.8623111 1.473953
## 256.00 1.852498 0.8623111 1.473953
## 512.00 1.852498 0.8623111 1.473953
## 1024.00 1.852498 0.8623111 1.473953
## 2048.00 1.852498 0.8623111 1.473953
##
## Tuning parameter 'sigma' was held constant at a value of 0.06490981
## RMSE was used to select the optimal model using the smallest value.
## The final values used for the model were sigma = 0.06490981 and C = 32.dfr2[3,] = data.frame(
Model='SVM',
Tuning.Parameters=paste0('C=', fitsvm$bestTune[['C']], ', sigma=', round(fitsvm$bestTune[['sigma']], 3)),
RMSE=min(fitsvm$results[['RMSE']])
)Train a neural network model.
# nnet model using model averaging
nnetGrid <- expand.grid(.decay=c(0, 0.01, 0.1), .size=c(1:10), .bag=F) # set tuning parameters
set.seed(77)
fitnnet <- train(x=trainingData$x, y=trainingData$y, method='avNNet', preProc=c('center', 'scale'), tunGrid=nnetGrid, trControl=ctrl,
linout=T, trace=F, MaxNWts=10 * (ncol(trainingData$x) + 1) + 10 + 1, maxit=500)
fitnnet## Model Averaged Neural Network
##
## 200 samples
## 10 predictor
##
## Pre-processing: centered (10), scaled (10)
## Resampling: Cross-Validated (10 fold)
## Summary of sample sizes: 180, 180, 180, 180, 180, 180, ...
## Resampling results across tuning parameters:
##
## size decay RMSE Rsquared MAE
## 1 0e+00 2.447132 0.7505839 1.920332
## 1 1e-04 2.466163 0.7497267 1.933404
## 1 1e-01 2.453068 0.7500812 1.920539
## 3 0e+00 2.113556 0.8219604 1.652204
## 3 1e-04 2.094993 0.8220413 1.659791
## 3 1e-01 2.245235 0.7947753 1.752437
## 5 0e+00 2.576249 0.7524072 1.843193
## 5 1e-04 1.996387 0.8428282 1.605908
## 5 1e-01 2.045665 0.8287930 1.611052
##
## Tuning parameter 'bag' was held constant at a value of FALSE
## RMSE was used to select the optimal model using the smallest value.
## The final values used for the model were size = 5, decay = 1e-04 and bag
## = FALSE.dfr2[4,] = data.frame(
Model='avNNet',
Tuning.Parameters=paste0('decay=', fitnnet$bestTune[['decay']], ', size=', fitnnet$bestTune[['size']], ', bag=False'),
RMSE=min(fitnnet$results[['RMSE']])
)Summarize models.
# Summarize models
dfr2 %>%
filter(!is.na(RMSE)) %>%
kbl(caption='Model summary') %>%
kable_classic(full_width=F)| Model | Tuning.Parameters | RMSE |
|---|---|---|
| knn | k=17 | 3.183130 |
| MARS | degree=2, nprune=10 | 1.390733 |
| SVM | C=32, sigma=0.065 | 1.852498 |
| avNNet | decay=1e-04, size=5, bag=False | 1.996387 |
Which models appear to give the best performance? Does MARS select the informative predictors (those named X1–X5)?
Surprisingly, the second-degree MARS model pruned back to 10 parameters performed the best, with an RMSE of 1.39–significantly less than that of its closest competitor, SVM, with an RMSE of 1.85. The model-averaged neural network model performed similarly to SVM (RMSE=2.00). The K-nearest neighbor model performed poorly, with an RMSE well above the others (3.18). This is not surprising, as KNN models typically perform poorly when there are predictors that don’t contribute significantly to the response; as stated in the problem description, in this data set there are five such predictors. The other models account for “noisy” predictors by pruning or applying a weight or decay factor.
KJ 7.5
Exercise 6.3 describes data for a chemical manufacturing process. Use the same data imputation, data splitting, and pre-processing steps as before and train several nonlinear regression models.
We’ll load, preprocess, and split the data as before.
# Load data
library(AppliedPredictiveModeling)## Warning: package 'AppliedPredictiveModeling' was built under R version 4.2.3data(ChemicalManufacturingProcess)
dfchem <- ChemicalManufacturingProcess # To avoid typing this many letters
# Impute missing values
#imp <- mice(dfchem, printFlag=F)
imp <- knnImputation(dfchem, k=3)
dfchem2 <- complete(imp)
# Set seed
set.seed(77)
# Corr plot
corr1 <- cor(dfchem2)
high_corr <- findCorrelation(corr1, cutoff=0.9, exact=T, verbose=F, names=F)
# Remove the highly correlated variables
dfchem3 <- dfchem2[,-high_corr]
# Remove NZV features
tmp_nzv <- nearZeroVar(dfchem3)
dfchem4 <- dfchem3[,-tmp_nzv]
# Split into train/test; createDataPartition generates indicies of the training set
train_indices <- createDataPartition(dfchem4$Yield, p=0.80, times=1, list=F)
dftrain <- dfchem4[train_indices,]
dftest <- dfchem4[-train_indices,]
# Separate outcome and predictors
trainx <- dftrain %>% dplyr::select(-Yield)
trainy <- dftrain$Yield
testx <- dftest %>% dplyr::select(-Yield)
testy <- dftest$Yield
# specify 10x cross-validation
ctrl <- trainControl(method='cv', number=10)
# Results data frame
dfr <- data.frame(matrix(nrow=10, ncol=3))
colnames(dfr) <- c('Model', 'Tuning.Parameters', 'Train.RMSE')KNN model.
# KNN model
set.seed(77)
fitknn2 <- train(x=trainx, y=trainy, method='knn', tuneLength=10, trControl=ctrl, preProc=c('center', 'scale'))
fitknn2## k-Nearest Neighbors
##
## 144 samples
## 46 predictor
##
## Pre-processing: centered (46), scaled (46)
## Resampling: Cross-Validated (10 fold)
## Summary of sample sizes: 129, 130, 129, 129, 129, 131, ...
## Resampling results across tuning parameters:
##
## k RMSE Rsquared MAE
## 5 1.379285 0.4589574 1.084132
## 7 1.407946 0.4555177 1.126556
## 9 1.413358 0.4635955 1.145259
## 11 1.414580 0.4632031 1.141053
## 13 1.418257 0.4531501 1.145540
## 15 1.437218 0.4375564 1.154585
## 17 1.432399 0.4446290 1.151538
## 19 1.436929 0.4426146 1.159932
## 21 1.445352 0.4361917 1.162814
## 23 1.445278 0.4406580 1.162588
##
## RMSE was used to select the optimal model using the smallest value.
## The final value used for the model was k = 5.dfr[1,] = data.frame(
Model='knn',
Tuning.Parameters=paste0('k=', fitknn2$bestTune[['k']]),
Train.RMSE=min(fitknn2$results[['RMSE']])
)MARS model.
# MARS model
marsGrid <- expand.grid(.degree=1:2, .nprune=2:10) # set tuning parameters
set.seed(77)
fitmars2 <- train(x=trainx, y=trainy, method='earth', tuneGrid=marsGrid, trControl=ctrl)
fitmars2## Multivariate Adaptive Regression Spline
##
## 144 samples
## 46 predictor
##
## No pre-processing
## Resampling: Cross-Validated (10 fold)
## Summary of sample sizes: 129, 130, 129, 129, 129, 131, ...
## Resampling results across tuning parameters:
##
## degree nprune RMSE Rsquared MAE
## 1 2 1.440986 0.4612571 1.1399622
## 1 3 1.238844 0.5688270 1.0117625
## 1 4 1.252617 0.5690127 1.0152982
## 1 5 1.197049 0.5855010 0.9730671
## 1 6 1.192912 0.5922022 0.9708404
## 1 7 1.219466 0.5830528 0.9763334
## 1 8 1.212880 0.5705726 0.9683617
## 1 9 1.211793 0.5728273 0.9760222
## 1 10 1.209577 0.5807582 0.9784755
## 2 2 1.517618 0.4519987 1.2010038
## 2 3 1.367638 0.5174993 1.1037770
## 2 4 1.337454 0.5449022 1.0656092
## 2 5 1.282729 0.5633681 1.0464230
## 2 6 1.287241 0.5659634 1.0370924
## 2 7 2.064640 0.4950723 1.2801563
## 2 8 2.152944 0.5093629 1.2958330
## 2 9 2.212328 0.4851102 1.3218762
## 2 10 2.257889 0.4564474 1.3604358
##
## RMSE was used to select the optimal model using the smallest value.
## The final values used for the model were nprune = 6 and degree = 1.dfr[2,] = data.frame(
Model='MARS',
Tuning.Parameters=paste0('degree=', fitmars2$bestTune[['degree']], ', nprune=', fitmars2$bestTune[['nprune']]),
Train.RMSE=min(fitmars2$results[['RMSE']])
)SVM model.
# SVM model
set.seed(77)
fitsvm2 <- train(x=trainx, y=trainy, method='svmRadial', preProc=c('center', 'scale'), tuneLength=14, trControl=ctrl)
fitsvm2## Support Vector Machines with Radial Basis Function Kernel
##
## 144 samples
## 46 predictor
##
## Pre-processing: centered (46), scaled (46)
## Resampling: Cross-Validated (10 fold)
## Summary of sample sizes: 129, 130, 129, 129, 129, 131, ...
## Resampling results across tuning parameters:
##
## C RMSE Rsquared MAE
## 0.25 1.419654 0.4892685 1.1312379
## 0.50 1.310308 0.5379282 1.0247121
## 1.00 1.242506 0.5808342 0.9561702
## 2.00 1.218433 0.5958364 0.9328580
## 4.00 1.230718 0.5945981 0.9480770
## 8.00 1.228077 0.5982052 0.9516889
## 16.00 1.227324 0.5986981 0.9512413
## 32.00 1.227324 0.5986981 0.9512413
## 64.00 1.227324 0.5986981 0.9512413
## 128.00 1.227324 0.5986981 0.9512413
## 256.00 1.227324 0.5986981 0.9512413
## 512.00 1.227324 0.5986981 0.9512413
## 1024.00 1.227324 0.5986981 0.9512413
## 2048.00 1.227324 0.5986981 0.9512413
##
## Tuning parameter 'sigma' was held constant at a value of 0.01861133
## RMSE was used to select the optimal model using the smallest value.
## The final values used for the model were sigma = 0.01861133 and C = 2.dfr[3,] = data.frame(
Model='SVM',
Tuning.Parameters=paste0('C=', fitsvm2$bestTune[['C']], ', sigma=', round(fitsvm2$bestTune[['sigma']], 3)),
Train.RMSE=min(fitsvm2$results[['RMSE']])
)Neural network model.
# nnet model using model averaging
nnetGrid <- expand.grid(.decay=c(0, 0.01, 0.1), .size=c(1:10), .bag=c(T, F)) # set tuning parameters
set.seed(77)
fitnnet2 <- train(x=trainx, y=trainy, method='avNNet', preProc=c('center', 'scale'), tunGrid=nnetGrid, trControl=ctrl,
linout=T, trace=F, MaxNWts=10 * (ncol(trainx) + 1) + 10 + 1, maxit=500)
fitnnet2## Model Averaged Neural Network
##
## 144 samples
## 46 predictor
##
## Pre-processing: centered (46), scaled (46)
## Resampling: Cross-Validated (10 fold)
## Summary of sample sizes: 129, 130, 129, 129, 129, 131, ...
## Resampling results across tuning parameters:
##
## size decay RMSE Rsquared MAE
## 1 0e+00 1.548961 0.3735225 1.261701
## 1 1e-04 1.306310 0.5568175 1.038311
## 1 1e-01 1.607636 0.4667747 1.220239
## 3 0e+00 1.896489 0.3831877 1.503592
## 3 1e-04 2.028115 0.4610938 1.643163
## 3 1e-01 2.313661 0.3591364 1.677460
## 5 0e+00 2.060010 0.2873220 1.610025
## 5 1e-04 1.856423 0.3190855 1.476631
## 5 1e-01 1.876774 0.4189019 1.405881
##
## Tuning parameter 'bag' was held constant at a value of FALSE
## RMSE was used to select the optimal model using the smallest value.
## The final values used for the model were size = 1, decay = 1e-04 and bag
## = FALSE.dfr[4,] = data.frame(
Model='avNNet',
Tuning.Parameters=paste0('decay=', fitnnet2$bestTune[['decay']], ', size=', fitnnet2$bestTune[['size']], ', bag=', fitnnet2$bestTune[['bag']]),
Train.RMSE=min(fitnnet2$results[['RMSE']])
)Display model summary.
# Model summary
dfr %>%
filter(!is.na(Train.RMSE)) %>%
kbl(caption='Model summary') %>%
kable_classic(full_width=F)| Model | Tuning.Parameters | Train.RMSE |
|---|---|---|
| knn | k=5 | 1.379285 |
| MARS | degree=1, nprune=6 | 1.192912 |
| SVM | C=2, sigma=0.019 | 1.218433 |
| avNNet | decay=1e-04, size=1, bag=FALSE | 1.306310 |
(a)
Which nonlinear regression model gives the optimal resampling and test set performance?
# Add column for test set RMSE to results data frame
dfr$Test.RMSE = NA
# Predict using test set
# Knn
predy <- predict(fitknn2, newdata=as.matrix(testx))
dfr[1, 'Test.RMSE'] <- accuracy(predy, testy)[[2]]
# MARS
predy <- as.vector(predict(fitmars2, newdata=as.matrix(testx)))
dfr[2, 'Test.RMSE'] <- accuracy(predy, testy)[[2]]
# SVM
predy <- predict(fitsvm2, newdata=as.matrix(testx))
dfr[3, 'Test.RMSE'] <- accuracy(predy, testy)[[2]]
# Nnet
predy <- predict(fitnnet2, newdata=as.matrix(testx))
dfr[4, 'Test.RMSE'] <- accuracy(predy, testy)[[2]]
# Model summary
dfr %>%
filter(!is.na(Train.RMSE)) %>%
kbl(caption='Model summary') %>%
kable_classic(full_width=F)| Model | Tuning.Parameters | Train.RMSE | Test.RMSE |
|---|---|---|---|
| knn | k=5 | 1.379285 | 1.178161 |
| MARS | degree=1, nprune=6 | 1.192912 | 1.007365 |
| SVM | C=2, sigma=0.019 | 1.218433 | 1.085711 |
| avNNet | decay=1e-04, size=1, bag=FALSE | 1.306310 | 1.201868 |
The first-degree MARS model pruned to six parameters yielded the best RMSE for both training and test data (1.19 and 1.01, respectively).
(b)
Which predictors are most important in the optimal nonlinear regression model? Do either the biological or process variables dominate the list? How do the top ten important predictors compare to the top ten predictors from the optimal linear model?
varImp(fitmars2)$importance %>%
kbl(caption='Variable imporance - MARS model') %>%
kable_classic(full_width=F)| Overall | |
|---|---|
| ManufacturingProcess32 | 100.00000 |
| ManufacturingProcess09 | 53.00126 |
| ManufacturingProcess13 | 14.59296 |
| ManufacturingProcess39 | 0.00000 |
As shown above, ManufacturingProcess variables 32, 09, 13, and 39 are the most important features. These are only variables in the manufacturing process rather than biological variables, which again is advantageous since they can be controlled to some extent while the biological variables cannot be. The top three variables (32, 09, and 13) are the same as those found to be most important in the linear models, although in a different order (the linear model had ManufacturingProcess09 first). The fact that both linear and non-linear modeling chose the same top three predictors is good confirmation of their importance.
(c)
Explore the relationships between the top predictors and the response for the predictors that are unique to the optimal nonlinear regression model. Do these plots reveal intuition about the biological or process predictors and their relationship with yield?
# Plot response vs top predictors
p1 <- dfchem2 %>% ggplot(aes(x=ManufacturingProcess32, y=Yield)) +
geom_point() +
geom_smooth(method=lm, formula=y ~ x, linetype=2, color='darkred', se=F)
p2 <- dfchem2 %>% ggplot(aes(x=ManufacturingProcess09, y=Yield)) +
geom_point() +
geom_smooth(method=lm, formula=y ~ x, linetype=2, color='darkred', se=F)
p3 <- dfchem2 %>% ggplot(aes(x=ManufacturingProcess13, y=Yield)) +
geom_point() +
geom_smooth(method=lm, formula=y ~ x, linetype=2, color='darkred', se=F)
p4 <- dfchem2 %>% ggplot(aes(x=ManufacturingProcess39, y=Yield)) +
geom_point() +
geom_smooth(method=lm, formula=y ~ x, linetype=2, color='darkred', se=F)
p5 <- dfchem2 %>% filter(ManufacturingProcess39 > 0) %>%
ggplot(aes(x=ManufacturingProcess39, y=Yield)) +
geom_point() +
geom_smooth(method=lm, formula=y ~ x, linetype=2, color='darkred', se=F) +
ggtitle('ManufacturingProcess39 (removed zero values)')
grid.arrange(p1, p2, p3, p4, p5, ncol=2)
As in the linear model, processes 9 and 32 exhibit a positive relationship with yield, while the relationship between yield and process 13 is inverse. Process 39 is interesting in that there are some zero values that may or may not be outliers or data-entry errors. Including the outliers, there is a slight upward trend. The last graph shows that, after removing the potential outliers, the trend becomes slightly inverse. To assess whether these outliers should have been removed prior to modeling, we would have to know more about the context in which the source data were collected and whether zero values are expected from this type of process.
8.1
Recreate the simulated data from Exercise 7.2
library(mlbench)
set.seed(200)
simulated <- mlbench.friedman1(200, sd = 1)
simulated <- cbind(simulated$x, simulated$y)
simulated <- as.data.frame(simulated)
colnames(simulated)[ncol(simulated)] <- "y"(a)
Fit a random forest model to all of the predictors, then estimate the variable importance scores:
library(randomForest)## Warning: package 'randomForest' was built under R version 4.2.3## randomForest 4.7-1.1## Type rfNews() to see new features/changes/bug fixes.##
## Attaching package: 'randomForest'## The following object is masked from 'package:gridExtra':
##
## combine## The following object is masked from 'package:dplyr':
##
## combine## The following object is masked from 'package:ggplot2':
##
## marginlibrary(caret)
model1 <- randomForest(y ~ ., data = simulated,
importance = TRUE,
ntree = 1000)
rfImp1 <- varImp(model1, scale = FALSE)Did the random forest model significantly use the uninformative predictors (V6 – V10)?
# Display importance values
rfImp1 %>%
arrange(desc(Overall)) %>%
kbl(caption='Relative importance of predictors') %>%
kable_classic(full_width=F)| Overall | |
|---|---|
| V1 | 8.7322354 |
| V4 | 7.6151188 |
| V2 | 6.4153694 |
| V5 | 2.0235246 |
| V3 | 0.7635918 |
| V6 | 0.1651112 |
| V7 | -0.0059617 |
| V10 | -0.0749448 |
| V9 | -0.0952927 |
| V8 | -0.1663626 |
As shown, the uninformative predictors (V6-V10) have a significantly lower relative importance in the model, which is consistent with our earlier findings.
(b)
Now add an additional predictor that is highly correlated with one of the informative predictors. For example:
simulated$duplicate1 <- simulated$V1 + rnorm(200) * .1
cor(simulated$duplicate1, simulated$V1)## [1] 0.9460206Fit another random forest model to these data. Did the importance score for V1 change? What happens when you add another predictor that is also highly correlated with V1?
# Fit random forest to the new data with the highly corrected predictors
model2 <- randomForest(y ~ ., data = simulated,
importance = TRUE,
ntree = 1000)
rfImp2 <- varImp(model2, scale = FALSE)
# Display results
rfImp2 %>%
arrange(desc(Overall)) %>%
kbl(caption='Relative importance of predictors - with highly correlated variables') %>%
kable_classic(full_width=F)| Overall | |
|---|---|
| V4 | 7.0475224 |
| V2 | 6.0689606 |
| V1 | 5.6911997 |
| duplicate1 | 4.2833158 |
| V5 | 1.8723844 |
| V3 | 0.6297022 |
| V6 | 0.1356906 |
| V10 | 0.0289481 |
| V9 | 0.0084044 |
| V7 | -0.0134564 |
| V8 | -0.0437056 |
Adding the duplicate1 variable caused the relative importance of V1 to decrease, while that of duplicate1 factored prominently in terms of importance–just below V1. In effect, the two variables “shared” how important they were in the model. This is analogous to the two surface area variables in the solubility data discussed in the textbook (KJ p. 186, 202-203). If another variable that is highly correlated to V1 were added to the data set, we would expect a further reduction in the importances of V1 and duplicate1, effectively sharing the importance between all three variables.
# Add another variable that is highly correlated with V1
simulated$duplicate2 <- simulated$V1 + rnorm(200) * .1
cor(simulated$duplicate2, simulated$V1)## [1] 0.9408631# Fit random forest to the new data with the highly corrected predictors
model3 <- randomForest(y ~ ., data = simulated,
importance = TRUE,
ntree = 1000)
rfImp3 <- varImp(model3, scale = FALSE)
# Display results
rfImp3 %>%
arrange(desc(Overall)) %>%
kbl(caption='Relative importance of predictors - with highly correlated variables') %>%
kable_classic(full_width=F)| Overall | |
|---|---|
| V4 | 7.0487092 |
| V2 | 6.5281650 |
| V1 | 4.9168733 |
| duplicate1 | 3.8006823 |
| V5 | 2.0311556 |
| duplicate2 | 1.8772196 |
| V3 | 0.5871155 |
| V6 | 0.1421315 |
| V7 | 0.1099199 |
| V10 | 0.0923058 |
| V9 | -0.0107503 |
| V8 | -0.0840569 |
As shown in the table, the relative importances of V1 and duplicate1 decreased with the introduction of variable duplicate2. The sum of these three importances are roughly on par with the importance of V1 in the first model and the sum of v1 + duplicate1 in the second model. This is consistent with the way regression trees are sensitive to highly correlated variables.
(c)
Use the cforest function in the party package to fit a random forest model using conditional inference trees. The party package function varimp can calculate predictor importance. The conditional argument of that function toggles between the traditional importance measure and the modified version described in Strobl et al. (2007). Do these importances show the same pattern as the traditional random forest model?
# Init results table
dfr <- data.frame(matrix(nrow=0, ncol=3))
colnames(dfr) <- c('Model', 'Variable', 'Rank')
# Fit conditional inference random forest model
library(party)## Warning: package 'party' was built under R version 4.2.3## Loading required package: grid## Loading required package: mvtnorm## Loading required package: modeltools## Loading required package: stats4##
## Attaching package: 'modeltools'## The following object is masked from 'package:kernlab':
##
## prior## Loading required package: strucchange## Warning: package 'strucchange' was built under R version 4.2.3## Loading required package: sandwich## Warning: package 'sandwich' was built under R version 4.2.3##
## Attaching package: 'strucchange'## The following object is masked from 'package:stringr':
##
## boundarycimodel1 <- cforest(y ~ ., data=simulated)
# Display variable importances - without conditional inference
tmpdf <- data.frame(Overall=varimp(cimodel1, conditional=F))
tmpdf %>%
arrange(desc(Overall)) %>%
kbl(caption='Relative importance of predictors - without conditional inference') %>%
kable_classic(full_width=F)| Overall | |
|---|---|
| V4 | 7.1699146 |
| V2 | 5.8114927 |
| duplicate1 | 4.6295764 |
| V1 | 4.1191048 |
| V5 | 1.6205402 |
| duplicate2 | 1.0810491 |
| V3 | 0.0113312 |
| V6 | -0.0181853 |
| V7 | -0.0279534 |
| V10 | -0.0345444 |
| V8 | -0.0366381 |
| V9 | -0.0436095 |
# Results table
dfr <- rbind(dfr, data.frame(
Model='Random forest (no conditional inference)',
Variable=rownames(tmpdf),
Rank=rank(-tmpdf$Overall)))
# Display variable importances - with conditional inference
tmpdf <- data.frame(Overall=varimp(cimodel1, conditional=T))
tmpdf %>%
arrange(desc(Overall)) %>%
kbl(caption='Relative importance of predictors - with conditional inference') %>%
kable_classic(full_width=F)| Overall | |
|---|---|
| V4 | 5.6143236 |
| V2 | 4.6496783 |
| duplicate1 | 1.6916685 |
| V1 | 1.6143315 |
| V5 | 0.9893033 |
| duplicate2 | 0.2892157 |
| V6 | 0.0194722 |
| V9 | 0.0157887 |
| V8 | 0.0124451 |
| V10 | 0.0007198 |
| V3 | -0.0038642 |
| V7 | -0.0283774 |
# Results table
dfr <- rbind(dfr, data.frame(
Model='Random forest (with conditional inference)',
Variable=rownames(tmpdf),
Rank=rank(-tmpdf$Overall)))Using conditional inference has the effect of lowering the importance of the two variables that are highly correlated with V1. Variable V1 itself remained third in the order of relative importance among other variables. It didn’t increase in importance and, in fact, actually had a lower magnitude, but the overall effect was that the importances of the duplicate variables were reduced. This can be attributed to the fact that statistical inference tests are exhaustively conducted against all possible predictors and across all possible split points, thereby penalizing models with higher numbers of splits.
(d)
Repeat this process with different tree models, such as boosted trees and Cubist. Does the same pattern occur?
First try a basic CART model.
# Basic CART
library(rpart)
set.seed(77)
fitcart1 <- rpart(y ~ ., data=simulated)
tmpdf <- varImp(fitcart1)
tmpdf %>%
arrange(desc(Overall)) %>%
kbl(caption='Variable imporance - basic CART') %>%
kable_classic(full_width=F)| Overall | |
|---|---|
| V4 | 2.9099218 |
| V5 | 2.3438469 |
| V2 | 2.0690787 |
| duplicate1 | 1.6165532 |
| V1 | 1.5149230 |
| V3 | 0.5805123 |
| V10 | 0.5254491 |
| V7 | 0.5113927 |
| duplicate2 | 0.3521296 |
| V6 | 0.3027516 |
| V9 | 0.2054104 |
| V8 | 0.0000000 |
# Results table
dfr <- rbind(dfr, data.frame(
Model='Basic CART',
Variable=rownames(tmpdf),
Rank=rank(-tmpdf$Overall)))Try a CART model with conditional inference.
# Basic CART with conditional inference
library(party)
set.seed(77)
fitcart2 <- ctree(y ~ ., data=simulated)
tmpdf <- data.frame(Overall=attributes(fitcart2)$tree$criterion$statistic)
tmpdf %>%
arrange(desc(Overall)) %>%
kbl(caption='Variable imporance - CART with conditional inference') %>%
kable_classic(full_width=F)| Overall | |
|---|---|
| duplicate1 | 53.3221257 |
| V4 | 53.1707839 |
| V1 | 51.6156473 |
| V2 | 44.6341323 |
| duplicate2 | 42.8848964 |
| V5 | 25.1785513 |
| V9 | 0.8945059 |
| V7 | 0.3524065 |
| V10 | 0.1634720 |
| V6 | 0.1117923 |
| V8 | 0.0369679 |
| V3 | 0.0136371 |
# Results table
dfr <- rbind(dfr, data.frame(
Model='Basic CART with conditional inference',
Variable=rownames(tmpdf),
Rank=rank(-tmpdf$Overall)))Regression model tree.
# Regression model tree
library(RWeka)## Warning: package 'RWeka' was built under R version 4.2.3set.seed(77)
fitrmt1 <- M5P(y ~ ., data=simulated)
fitrmt1## M5 pruned model tree:
## (using smoothed linear models)
##
## V1 <= 0.243 : LM1 (54/37.499%)
## V1 > 0.243 :
## | V2 <= 0.47 : LM2 (63/33.558%)
## | V2 > 0.47 : LM3 (83/42.294%)
##
## LM num: 1
## y =
## 4.9097 * V2
## + 1.5708 * V3
## + 7.5078 * V4
## + 5.4522 * V5
## + 1.0717 * V6
## + 0.9243 * V7
## + 5.9294 * duplicate1
## + 0.6854 * duplicate2
## + 0.2956
##
## LM num: 2
## y =
## 4.0632 * V1
## + 13.3271 * V2
## + 2.1142 * V3
## + 6.3732 * V4
## + 5.2055 * V5
## + 1.3725 * V6
## - 0.3757 * V7
## + 0.2937 * duplicate2
## + 0.5526
##
## LM num: 3
## y =
## 2.2369 * V1
## + 1.9158 * V2
## + 1.8201 * V3
## + 6.6618 * V4
## + 6.6337 * V5
## + 1.1861 * V6
## - 0.329 * V7
## + 0.2937 * duplicate2
## + 7.1383
##
## Number of Rules : 3Rule-based model tree.
# Rule-based model tree
set.seed(77)
fitrmt2 <- M5Rules(y ~ ., data=simulated)
fitrmt2## M5 pruned model rules
## (using smoothed linear models) :
## Number of Rules : 3
##
## Rule: 1
## IF
## V1 > 0.243
## V2 > 0.47
## THEN
##
## y =
## 2.2369 * V1
## + 1.9158 * V2
## + 1.8201 * V3
## + 6.6618 * V4
## + 6.6337 * V5
## + 1.1861 * V6
## - 0.329 * V7
## + 0.2937 * duplicate2
## + 7.1383 [83/42.294%]
##
## Rule: 2
## IF
## V4 <= 0.639
## V1 <= 0.461
## THEN
##
## y =
## 8.4992 * V1
## + 5.9893 * V2
## + 2.0517 * V3
## + 5.3074 * V4
## + 6.5593 * V5
## + 1.4946 * V6
## + 0.5601 * V7
## + 0.5566 * V8
## + 3.158 * duplicate1
## - 2.6827 * duplicate2
## - 0.505 [52/45.216%]
##
## Rule: 3
##
## y =
## 6.7217 * V1
## + 8.3154 * V2
## + 8.0743 * V4
## + 2.7048 * V5
## - 1.9714 * V6
## + 2.9544 [65/58.579%]Bagged tree.
# Bagged tree
library(ipred)
set.seed(77)
fitbag1 <- bagging(y ~ ., data=simulated)
tmpdf <- varImp(fitbag1)
tmpdf %>%
arrange(desc(Overall)) %>%
kbl(caption='Variable imporance - bagged tree') %>%
kable_classic(full_width=F)| Overall | |
|---|---|
| V4 | 2.7906645 |
| V2 | 2.2235232 |
| V5 | 2.1494521 |
| duplicate1 | 1.7986171 |
| V1 | 1.6868895 |
| duplicate2 | 1.2210284 |
| V3 | 1.2174442 |
| V6 | 1.1464188 |
| V7 | 0.9024704 |
| V10 | 0.7433380 |
| V8 | 0.5482984 |
| V9 | 0.5118493 |
# Results table
dfr <- rbind(dfr, data.frame(
Model='Bagged tree',
Variable=rownames(tmpdf),
Rank=rank(-tmpdf$Overall)))Boosted tree.
# Boosted tree
library(gbm)## Warning: package 'gbm' was built under R version 4.2.3## Loaded gbm 2.1.8.1set.seed(77)
fitgbm1 <- gbm(y ~ ., data=simulated, distribution='gaussian', n.trees=1000)
tmpdf <- varImp(fitgbm1, numTrees=1000)
tmpdf %>%
arrange(desc(Overall)) %>%
kbl(caption='Variable imporance - boosted tree (1000 iterations)') %>%
kable_classic(full_width=F)| Overall | |
|---|---|
| V4 | 5089.9535 |
| V2 | 4059.8371 |
| V1 | 2307.2891 |
| V5 | 1972.5257 |
| duplicate1 | 1859.3715 |
| V3 | 1845.0616 |
| duplicate2 | 1459.3749 |
| V7 | 553.1400 |
| V6 | 412.9577 |
| V10 | 357.1601 |
| V9 | 282.1934 |
| V8 | 270.4431 |
# Results table
dfr <- rbind(dfr, data.frame(
Model='Boosted tree',
Variable=rownames(tmpdf),
Rank=rank(-tmpdf$Overall)))Cubist.
# Cubist
library(Cubist)## Warning: package 'Cubist' was built under R version 4.2.3set.seed(77)
fitcub1 <- cubist(x=simulated %>% dplyr::select(-y), y=simulated$y)
tmpdf <- varImp(fitcub1, numTrees=1000)
tmpdf %>%
arrange(desc(Overall)) %>%
kbl(caption='Variable imporance - cubist') %>%
kable_classic(full_width=F)| Overall | |
|---|---|
| V1 | 50 |
| V2 | 50 |
| V4 | 50 |
| V5 | 50 |
| duplicate1 | 50 |
| V3 | 0 |
| V6 | 0 |
| V7 | 0 |
| V8 | 0 |
| V9 | 0 |
| V10 | 0 |
| duplicate2 | 0 |
# Results table
dfr <- rbind(dfr, data.frame(
Model='Cubist',
Variable=rownames(tmpdf),
Rank=rank(-tmpdf$Overall)))Compare variable importance of the models.
# Plot variable importance
dfr %>%
filter(Variable %in% c('V1', 'duplicate1', 'duplicate2')) %>%
ggplot(aes(x=factor(Variable, level=c('V1', 'duplicate1', 'duplicate2')), y=11-Rank, group=Model, color=Model, shape=Model)) +
geom_point() +
geom_line() +
scale_y_discrete(name='Rank', limits=rev(factor(seq(1, 10)))) +
xlab('Variable') +
ggtitle('Comparison of variable importance of highly correlated variables')
As shown in the graph, most trees tend to split the variable importance among the three correlated predictors, although most downplayed the importance of the second duplicated variable. The boosted tree and basic CART with conditional inference models seemed to handle duplicated variables the best, while the bagged tree performed poorly in that respect.
8.2
Use a simulation to show tree bias with different granularities.
Assuming “tree bias” means “selection bias” (KJ, p. 182), we’ll first generate some random samples that have differing numbers of distinct values.
# Set seed
set.seed(77)
# Generate three discrete variables
s1 <- sample(x=seq(0, 9), size=1000, replace=T)
s2 <- sample(x=seq(0, 99), size=1000, replace=T)
s3 <- sample(x=seq(0, 999), size=1000, replace=T)
# Generate three continuous variables
s4 <- runif(n=1000, min=0, max=9)
s5 <- runif(n=1000, min=0, max=99)
s6 <- runif(n=1000, min=0, max=999)
# Generate outcome variable
y <- s1 + s2 + s3 + s4 + s5 + s6 + runif(n=1000, min=0, max=1)
# Create data frame
df82 <- data.frame(outcome=y, discrete1=s1, discrete2=s2, discrete3=s3, continuous1=s4, continuous2=s5, continuous3=s6)
# Simple CART
fitcart <- rpart(outcome ~ ., data=df82)
varImp(fitcart) %>%
arrange(desc(Overall)) %>%
kbl(caption='Variable importance') %>%
kable_classic(full_width=F)| Overall | |
|---|---|
| discrete3 | 4.9019351 |
| continuous3 | 2.7644374 |
| discrete2 | 0.3735736 |
| continuous2 | 0.3698630 |
| continuous1 | 0.2510469 |
| discrete1 | 0.0000000 |
As expected, the variables with many discrete values had variable importances that far outweighed the others.
8.3
In stochastic gradient boosting the bagging fraction and learning rate will govern the construction of the trees as they are guided by the gradient. Although the optimal values of these parameters should be obtained through the tuning process, it is helpful to understand how the magnitudes of these parameters affect magnitudes of variable importance. Figure 8.24 provides the variable importance plots for boosting using two extreme values for the bagging fraction (0.1 and 0.9) and the learning rate (0.1 and 0.9) for the solubility data. The left-hand plot has both parameters set to 0.1, and the right-hand plot has both set to 0.9.
(a)
Why does the model on the right focus its importance on just the first few of predictors, whereas the model on the left spreads importance across more predictors?
If the learning rate is set to a low value, there is less of a penalty against larger coefficients; therefore, less influential predictors will remain small relative to more influential predictors. On the other hand, if the learning rate is high, the penalty against larger coefficients will be greater, resulting in reduced influence for these predictors. The idea behind increasing the learning rate is to try reducing overfitting. This results in fewer variables with greater importance–i.e., a more parsimonious model. The model on the left, with a lower learning rate, could be overfit, as there are more variables with greater importance (KJ pp. 206-207).
Likewise, as the bagging fraction increases, a greater proportion of the samples are used in each model; this results the same variables being used in many of the trees, in effect increasing the importance of those variables and causing the steeper gradient exhibited by the graph with the higher bagging fraction.
(b)
Which model do you think would be more predictive of other samples?
The model on the right would most likely yield better predictive performance than the model on the left. This is because the left model would prone to overfitting and, additionally, uses less of the training data at each iteration to build the model. In general, models that are overfit and which use a dataset that underrepresents the larger population of the data have poorer predictive performances.
(c)
How would increasing interaction depth affect the slope of predictor importance for either model in Fig. 8.24?
We would expect the slope of the predictor importance to be steeper if the interaction depth were increased. Because trees with more levels will have a greater number of weak predictors than less complex trees, the difference between strong and weak predictors will be more dramatic, resulting in a higher gradient between the two.
8.7
Refer to Exercises 6.3 and 7.5 which describe a chemical manufacturing process. Use the same data imputation, data splitting, and pre-processing steps as before and train several tree-based models.
We’ll load, preprocess, and split the data as before.
# Load data
library(AppliedPredictiveModeling)
data(ChemicalManufacturingProcess)
dfchem <- ChemicalManufacturingProcess # To avoid typing this many letters
# Impute missing values
#imp <- mice(dfchem, printFlag=F)
imp <- knnImputation(dfchem, k=3)
dfchem2 <- complete(imp)
# Set seed
set.seed(77)
# Corr plot
corr1 <- cor(dfchem2)
high_corr <- findCorrelation(corr1, cutoff=0.9, exact=T, verbose=F, names=F)
# Remove the highly correlated variables
dfchem3 <- dfchem2[,-high_corr]
# Remove NZV features
tmp_nzv <- nearZeroVar(dfchem3)
dfchem4 <- dfchem3[,-tmp_nzv]
# Split into train/test; createDataPartition generates indicies of the training set
train_indices <- createDataPartition(dfchem4$Yield, p=0.80, times=1, list=F)
dftrain <- dfchem4[train_indices,]
dftest <- dfchem4[-train_indices,]
# Separate outcome and predictors
trainx <- dftrain %>% dplyr::select(-Yield)
trainy <- dftrain$Yield
testx <- dftest %>% dplyr::select(-Yield)
testy <- dftest$Yield
# specify 10x cross-validation
ctrl <- trainControl(method='cv', number=10)
# Results data frame
dfr <- data.frame(matrix(nrow=10, ncol=3))
colnames(dfr) <- c('Model', 'Tuning.Parameters', 'Train.RMSE')Basic CART model tuned using complexity parameter.
# Basic CART model - tuned using complexity parameter
set.seed(77)
fitcart1 <- train(trainx, trainy, method='rpart', tuneLength=10, trControl=ctrl)## Warning in nominalTrainWorkflow(x = x, y = y, wts = weights, info = trainInfo, :
## There were missing values in resampled performance measures.fitcart1## CART
##
## 144 samples
## 46 predictor
##
## No pre-processing
## Resampling: Cross-Validated (10 fold)
## Summary of sample sizes: 129, 130, 129, 129, 129, 131, ...
## Resampling results across tuning parameters:
##
## cp RMSE Rsquared MAE
## 0.009294624 1.407338 0.4904813 1.070198
## 0.009904729 1.397395 0.4953718 1.066899
## 0.012092509 1.391354 0.4962662 1.059138
## 0.019144977 1.406130 0.4813463 1.087665
## 0.027913661 1.405923 0.4853447 1.099044
## 0.028845994 1.403758 0.4861310 1.099044
## 0.049789688 1.475761 0.4399068 1.158295
## 0.056916339 1.456995 0.4494829 1.135339
## 0.087308800 1.471253 0.4268588 1.174693
## 0.427771186 1.740941 0.3119085 1.399690
##
## RMSE was used to select the optimal model using the smallest value.
## The final value used for the model was cp = 0.01209251.dfr[1,] = data.frame(
Model='Basic CART (tuned w/complexity parameter)',
Tuning.Parameters=paste0('cp=', fitcart1$bestTune[['cp']]),
Train.RMSE=min(fitcart1$results[['RMSE']])
)Basic CART model tuned using node depth.
# Basic CART model - tuned using complexity parameter
set.seed(77)
fitcart2 <- train(trainx, trainy, method='rpart2', tuneLength=10, trControl=ctrl)
fitcart2## CART
##
## 144 samples
## 46 predictor
##
## No pre-processing
## Resampling: Cross-Validated (10 fold)
## Summary of sample sizes: 129, 130, 129, 129, 129, 131, ...
## Resampling results across tuning parameters:
##
## maxdepth RMSE Rsquared MAE
## 1 1.441392 0.4255263 1.143391
## 2 1.435252 0.4603728 1.129711
## 3 1.453611 0.4515929 1.126150
## 4 1.449612 0.4704051 1.136101
## 5 1.430368 0.4665573 1.129546
## 6 1.406025 0.4809461 1.093130
## 7 1.439393 0.4611006 1.110463
## 8 1.402215 0.4895501 1.077081
## 9 1.393952 0.4969978 1.061839
## 10 1.394707 0.4959451 1.063503
##
## RMSE was used to select the optimal model using the smallest value.
## The final value used for the model was maxdepth = 9.dfr[2,] = data.frame(
Model='Basic CART (tuned w/node depth)',
Tuning.Parameters=paste0('maxdepth=', fitcart2$bestTune[['maxdepth']]),
Train.RMSE=min(fitcart2$results[['RMSE']])
)Bagged CART.
# Bagged CART
set.seed(77)
fitbag1 <- train(trainx, trainy, method='treebag', trControl=ctrl)
fitbag1## Bagged CART
##
## 144 samples
## 46 predictor
##
## No pre-processing
## Resampling: Cross-Validated (10 fold)
## Summary of sample sizes: 129, 130, 129, 129, 129, 131, ...
## Resampling results:
##
## RMSE Rsquared MAE
## 1.259454 0.5785997 0.9648374dfr[3,] = data.frame(
Model='Bagged CART',
Tuning.Parameters='',
Train.RMSE=min(fitbag1$results[['RMSE']])
)Random forest.
# Random forest
set.seed(77)
fitrf1 <- train(trainx, trainy, method='rf', tuneLength=10, trControl=ctrl)
fitrf1## Random Forest
##
## 144 samples
## 46 predictor
##
## No pre-processing
## Resampling: Cross-Validated (10 fold)
## Summary of sample sizes: 129, 130, 129, 129, 129, 131, ...
## Resampling results across tuning parameters:
##
## mtry RMSE Rsquared MAE
## 2 1.291150 0.5976882 1.0215746
## 6 1.198538 0.6341515 0.9229128
## 11 1.173900 0.6439419 0.8997434
## 16 1.166044 0.6406491 0.8858766
## 21 1.163550 0.6396240 0.8871687
## 26 1.167509 0.6349182 0.8942737
## 31 1.167094 0.6352425 0.8925057
## 36 1.168945 0.6350582 0.8938617
## 41 1.176820 0.6263304 0.9025961
## 46 1.178086 0.6278891 0.8988299
##
## RMSE was used to select the optimal model using the smallest value.
## The final value used for the model was mtry = 21.dfr[4,] = data.frame(
Model='Random forest',
Tuning.Parameters=paste0('mtry=', fitrf1$bestTune[['mtry']]),
Train.RMSE=min(fitrf1$results[['RMSE']])
)Stochastic gradient boosting.
# Had to set message=FALSE to prevent thousands of trace messages
# Stochastic gradient boosting
gbmGrid <- expand.grid(.interaction.depth=seq(1, 7, by=2),
.n.trees=seq(100, 1000, by=50),
.shrinkage=c(0.01, 0.1),
.n.minobsinnode=10)
set.seed(77)
fitgbm1 <- train(trainx, trainy, method='gbm', tuneGrid=gbmGrid, trControl=ctrl)## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.6092 nan 0.0100 0.0328
## 2 3.5767 nan 0.0100 0.0316
## 3 3.5462 nan 0.0100 0.0310
## 4 3.5125 nan 0.0100 0.0292
## 5 3.4843 nan 0.0100 0.0287
## 6 3.4540 nan 0.0100 0.0280
## 7 3.4246 nan 0.0100 0.0233
## 8 3.4001 nan 0.0100 0.0258
## 9 3.3763 nan 0.0100 0.0238
## 10 3.3536 nan 0.0100 0.0254
## 20 3.1355 nan 0.0100 0.0150
## 40 2.7507 nan 0.0100 0.0150
## 60 2.4637 nan 0.0100 0.0072
## 80 2.2276 nan 0.0100 0.0095
## 100 2.0398 nan 0.0100 0.0067
## 120 1.8827 nan 0.0100 0.0080
## 140 1.7437 nan 0.0100 0.0026
## 160 1.6237 nan 0.0100 0.0021
## 180 1.5256 nan 0.0100 0.0025
## 200 1.4396 nan 0.0100 0.0024
## 220 1.3630 nan 0.0100 0.0016
## 240 1.2959 nan 0.0100 0.0012
## 260 1.2428 nan 0.0100 0.0014
## 280 1.1931 nan 0.0100 0.0005
## 300 1.1487 nan 0.0100 0.0010
## 320 1.1140 nan 0.0100 0.0013
## 340 1.0788 nan 0.0100 0.0004
## 360 1.0444 nan 0.0100 0.0001
## 380 1.0201 nan 0.0100 -0.0008
## 400 0.9966 nan 0.0100 -0.0002
## 420 0.9759 nan 0.0100 -0.0004
## 440 0.9545 nan 0.0100 -0.0006
## 460 0.9359 nan 0.0100 -0.0014
## 480 0.9168 nan 0.0100 0.0001
## 500 0.8971 nan 0.0100 0.0002
## 520 0.8808 nan 0.0100 -0.0010
## 540 0.8661 nan 0.0100 0.0001
## 560 0.8508 nan 0.0100 -0.0030
## 580 0.8370 nan 0.0100 -0.0007
## 600 0.8214 nan 0.0100 -0.0009
## 620 0.8081 nan 0.0100 -0.0015
## 640 0.7958 nan 0.0100 -0.0004
## 660 0.7836 nan 0.0100 -0.0004
## 680 0.7705 nan 0.0100 -0.0017
## 700 0.7598 nan 0.0100 -0.0010
## 720 0.7485 nan 0.0100 -0.0008
## 740 0.7384 nan 0.0100 -0.0011
## 760 0.7282 nan 0.0100 -0.0007
## 780 0.7175 nan 0.0100 -0.0004
## 800 0.7066 nan 0.0100 -0.0011
## 820 0.6972 nan 0.0100 -0.0011
## 840 0.6875 nan 0.0100 -0.0001
## 860 0.6784 nan 0.0100 -0.0007
## 880 0.6697 nan 0.0100 -0.0006
## 900 0.6602 nan 0.0100 -0.0007
## 920 0.6515 nan 0.0100 -0.0007
## 940 0.6434 nan 0.0100 -0.0007
## 960 0.6355 nan 0.0100 -0.0004
## 980 0.6274 nan 0.0100 -0.0002
## 1000 0.6179 nan 0.0100 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5963 nan 0.0100 0.0355
## 2 3.5540 nan 0.0100 0.0398
## 3 3.5206 nan 0.0100 0.0318
## 4 3.4856 nan 0.0100 0.0309
## 5 3.4465 nan 0.0100 0.0353
## 6 3.4051 nan 0.0100 0.0409
## 7 3.3687 nan 0.0100 0.0259
## 8 3.3305 nan 0.0100 0.0303
## 9 3.2928 nan 0.0100 0.0286
## 10 3.2601 nan 0.0100 0.0301
## 20 2.9420 nan 0.0100 0.0283
## 40 2.4406 nan 0.0100 0.0128
## 60 2.0521 nan 0.0100 0.0105
## 80 1.7647 nan 0.0100 0.0028
## 100 1.5471 nan 0.0100 0.0055
## 120 1.3683 nan 0.0100 0.0025
## 140 1.2333 nan 0.0100 0.0056
## 160 1.1126 nan 0.0100 -0.0004
## 180 1.0162 nan 0.0100 0.0020
## 200 0.9388 nan 0.0100 -0.0004
## 220 0.8680 nan 0.0100 -0.0008
## 240 0.8105 nan 0.0100 0.0009
## 260 0.7628 nan 0.0100 -0.0001
## 280 0.7210 nan 0.0100 -0.0015
## 300 0.6834 nan 0.0100 -0.0010
## 320 0.6484 nan 0.0100 0.0000
## 340 0.6181 nan 0.0100 -0.0011
## 360 0.5841 nan 0.0100 -0.0003
## 380 0.5541 nan 0.0100 -0.0012
## 400 0.5271 nan 0.0100 -0.0010
## 420 0.5010 nan 0.0100 -0.0011
## 440 0.4791 nan 0.0100 -0.0001
## 460 0.4579 nan 0.0100 -0.0014
## 480 0.4392 nan 0.0100 0.0001
## 500 0.4184 nan 0.0100 -0.0002
## 520 0.4015 nan 0.0100 -0.0012
## 540 0.3858 nan 0.0100 -0.0009
## 560 0.3684 nan 0.0100 0.0003
## 580 0.3524 nan 0.0100 -0.0010
## 600 0.3392 nan 0.0100 -0.0009
## 620 0.3257 nan 0.0100 -0.0002
## 640 0.3150 nan 0.0100 -0.0008
## 660 0.3034 nan 0.0100 -0.0011
## 680 0.2894 nan 0.0100 -0.0011
## 700 0.2783 nan 0.0100 -0.0001
## 720 0.2681 nan 0.0100 -0.0005
## 740 0.2606 nan 0.0100 -0.0003
## 760 0.2512 nan 0.0100 -0.0002
## 780 0.2419 nan 0.0100 -0.0003
## 800 0.2339 nan 0.0100 -0.0002
## 820 0.2249 nan 0.0100 -0.0005
## 840 0.2155 nan 0.0100 -0.0001
## 860 0.2077 nan 0.0100 -0.0004
## 880 0.2015 nan 0.0100 -0.0003
## 900 0.1953 nan 0.0100 -0.0001
## 920 0.1889 nan 0.0100 -0.0003
## 940 0.1824 nan 0.0100 -0.0003
## 960 0.1772 nan 0.0100 -0.0003
## 980 0.1704 nan 0.0100 0.0000
## 1000 0.1650 nan 0.0100 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5976 nan 0.0100 0.0353
## 2 3.5476 nan 0.0100 0.0422
## 3 3.5071 nan 0.0100 0.0431
## 4 3.4663 nan 0.0100 0.0291
## 5 3.4298 nan 0.0100 0.0322
## 6 3.3935 nan 0.0100 0.0306
## 7 3.3549 nan 0.0100 0.0348
## 8 3.3126 nan 0.0100 0.0339
## 9 3.2699 nan 0.0100 0.0362
## 10 3.2271 nan 0.0100 0.0304
## 20 2.8826 nan 0.0100 0.0224
## 40 2.3455 nan 0.0100 0.0146
## 60 1.9687 nan 0.0100 0.0154
## 80 1.6916 nan 0.0100 0.0076
## 100 1.4558 nan 0.0100 0.0079
## 120 1.2900 nan 0.0100 0.0040
## 140 1.1446 nan 0.0100 0.0008
## 160 1.0338 nan 0.0100 0.0027
## 180 0.9508 nan 0.0100 0.0008
## 200 0.8615 nan 0.0100 -0.0000
## 220 0.7930 nan 0.0100 0.0010
## 240 0.7330 nan 0.0100 0.0007
## 260 0.6808 nan 0.0100 -0.0015
## 280 0.6338 nan 0.0100 -0.0012
## 300 0.5942 nan 0.0100 0.0004
## 320 0.5642 nan 0.0100 0.0007
## 340 0.5334 nan 0.0100 0.0009
## 360 0.5049 nan 0.0100 -0.0004
## 380 0.4739 nan 0.0100 -0.0004
## 400 0.4453 nan 0.0100 -0.0010
## 420 0.4211 nan 0.0100 -0.0008
## 440 0.4016 nan 0.0100 -0.0005
## 460 0.3811 nan 0.0100 -0.0006
## 480 0.3635 nan 0.0100 -0.0011
## 500 0.3456 nan 0.0100 -0.0000
## 520 0.3283 nan 0.0100 -0.0002
## 540 0.3139 nan 0.0100 -0.0002
## 560 0.3002 nan 0.0100 0.0001
## 580 0.2857 nan 0.0100 -0.0008
## 600 0.2709 nan 0.0100 -0.0001
## 620 0.2584 nan 0.0100 -0.0005
## 640 0.2477 nan 0.0100 -0.0007
## 660 0.2386 nan 0.0100 -0.0007
## 680 0.2280 nan 0.0100 0.0001
## 700 0.2194 nan 0.0100 -0.0004
## 720 0.2107 nan 0.0100 -0.0005
## 740 0.2026 nan 0.0100 -0.0005
## 760 0.1948 nan 0.0100 -0.0003
## 780 0.1855 nan 0.0100 0.0000
## 800 0.1788 nan 0.0100 -0.0000
## 820 0.1718 nan 0.0100 -0.0003
## 840 0.1649 nan 0.0100 0.0001
## 860 0.1595 nan 0.0100 -0.0004
## 880 0.1528 nan 0.0100 -0.0004
## 900 0.1471 nan 0.0100 -0.0003
## 920 0.1419 nan 0.0100 -0.0003
## 940 0.1361 nan 0.0100 -0.0005
## 960 0.1314 nan 0.0100 -0.0004
## 980 0.1265 nan 0.0100 -0.0002
## 1000 0.1221 nan 0.0100 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5973 nan 0.0100 0.0408
## 2 3.5534 nan 0.0100 0.0335
## 3 3.5147 nan 0.0100 0.0319
## 4 3.4806 nan 0.0100 0.0303
## 5 3.4444 nan 0.0100 0.0231
## 6 3.3943 nan 0.0100 0.0346
## 7 3.3576 nan 0.0100 0.0337
## 8 3.3215 nan 0.0100 0.0307
## 9 3.2841 nan 0.0100 0.0275
## 10 3.2438 nan 0.0100 0.0241
## 20 2.8974 nan 0.0100 0.0282
## 40 2.3551 nan 0.0100 0.0194
## 60 1.9458 nan 0.0100 0.0131
## 80 1.6770 nan 0.0100 0.0017
## 100 1.4621 nan 0.0100 0.0071
## 120 1.2844 nan 0.0100 0.0042
## 140 1.1406 nan 0.0100 0.0036
## 160 1.0236 nan 0.0100 0.0035
## 180 0.9280 nan 0.0100 0.0008
## 200 0.8577 nan 0.0100 0.0007
## 220 0.7818 nan 0.0100 0.0015
## 240 0.7223 nan 0.0100 -0.0020
## 260 0.6753 nan 0.0100 -0.0005
## 280 0.6374 nan 0.0100 -0.0002
## 300 0.6021 nan 0.0100 -0.0013
## 320 0.5718 nan 0.0100 -0.0001
## 340 0.5389 nan 0.0100 0.0001
## 360 0.5070 nan 0.0100 0.0001
## 380 0.4792 nan 0.0100 -0.0005
## 400 0.4528 nan 0.0100 0.0001
## 420 0.4323 nan 0.0100 -0.0006
## 440 0.4103 nan 0.0100 -0.0002
## 460 0.3923 nan 0.0100 -0.0007
## 480 0.3724 nan 0.0100 -0.0009
## 500 0.3531 nan 0.0100 -0.0005
## 520 0.3335 nan 0.0100 0.0000
## 540 0.3165 nan 0.0100 0.0000
## 560 0.3032 nan 0.0100 -0.0007
## 580 0.2889 nan 0.0100 -0.0005
## 600 0.2760 nan 0.0100 -0.0004
## 620 0.2644 nan 0.0100 -0.0003
## 640 0.2537 nan 0.0100 -0.0005
## 660 0.2432 nan 0.0100 -0.0001
## 680 0.2338 nan 0.0100 -0.0006
## 700 0.2234 nan 0.0100 -0.0004
## 720 0.2157 nan 0.0100 -0.0008
## 740 0.2068 nan 0.0100 -0.0002
## 760 0.1970 nan 0.0100 -0.0001
## 780 0.1891 nan 0.0100 -0.0004
## 800 0.1821 nan 0.0100 -0.0002
## 820 0.1757 nan 0.0100 -0.0001
## 840 0.1691 nan 0.0100 -0.0007
## 860 0.1622 nan 0.0100 -0.0003
## 880 0.1568 nan 0.0100 -0.0002
## 900 0.1500 nan 0.0100 -0.0002
## 920 0.1450 nan 0.0100 -0.0001
## 940 0.1393 nan 0.0100 -0.0003
## 960 0.1343 nan 0.0100 -0.0004
## 980 0.1291 nan 0.0100 -0.0003
## 1000 0.1250 nan 0.0100 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3573 nan 0.1000 0.3094
## 2 3.1129 nan 0.1000 0.2142
## 3 2.8475 nan 0.1000 0.1693
## 4 2.6789 nan 0.1000 0.1468
## 5 2.5350 nan 0.1000 0.1250
## 6 2.3884 nan 0.1000 0.1287
## 7 2.2292 nan 0.1000 0.0721
## 8 2.1363 nan 0.1000 0.0786
## 9 2.0649 nan 0.1000 0.0481
## 10 1.9760 nan 0.1000 0.0738
## 20 1.4374 nan 0.1000 0.0341
## 40 1.0254 nan 0.1000 -0.0043
## 60 0.8391 nan 0.1000 0.0012
## 80 0.7125 nan 0.1000 -0.0065
## 100 0.6030 nan 0.1000 -0.0045
## 120 0.5489 nan 0.1000 -0.0028
## 140 0.4935 nan 0.1000 -0.0121
## 160 0.4509 nan 0.1000 -0.0049
## 180 0.4166 nan 0.1000 -0.0010
## 200 0.3812 nan 0.1000 -0.0058
## 220 0.3486 nan 0.1000 -0.0041
## 240 0.3272 nan 0.1000 -0.0070
## 260 0.2975 nan 0.1000 -0.0015
## 280 0.2729 nan 0.1000 -0.0038
## 300 0.2539 nan 0.1000 -0.0015
## 320 0.2378 nan 0.1000 -0.0027
## 340 0.2207 nan 0.1000 -0.0022
## 360 0.2078 nan 0.1000 -0.0048
## 380 0.1965 nan 0.1000 -0.0030
## 400 0.1823 nan 0.1000 -0.0026
## 420 0.1731 nan 0.1000 -0.0024
## 440 0.1626 nan 0.1000 -0.0019
## 460 0.1524 nan 0.1000 -0.0021
## 480 0.1437 nan 0.1000 -0.0017
## 500 0.1331 nan 0.1000 -0.0010
## 520 0.1257 nan 0.1000 -0.0024
## 540 0.1162 nan 0.1000 -0.0011
## 560 0.1108 nan 0.1000 -0.0012
## 580 0.1035 nan 0.1000 -0.0006
## 600 0.0982 nan 0.1000 -0.0013
## 620 0.0920 nan 0.1000 -0.0008
## 640 0.0875 nan 0.1000 -0.0028
## 660 0.0815 nan 0.1000 -0.0005
## 680 0.0770 nan 0.1000 -0.0009
## 700 0.0719 nan 0.1000 -0.0006
## 720 0.0676 nan 0.1000 -0.0014
## 740 0.0635 nan 0.1000 -0.0016
## 760 0.0604 nan 0.1000 -0.0012
## 780 0.0571 nan 0.1000 -0.0004
## 800 0.0541 nan 0.1000 -0.0004
## 820 0.0506 nan 0.1000 -0.0009
## 840 0.0476 nan 0.1000 -0.0006
## 860 0.0449 nan 0.1000 -0.0008
## 880 0.0428 nan 0.1000 -0.0004
## 900 0.0414 nan 0.1000 -0.0007
## 920 0.0391 nan 0.1000 -0.0007
## 940 0.0365 nan 0.1000 -0.0003
## 960 0.0346 nan 0.1000 -0.0004
## 980 0.0329 nan 0.1000 -0.0003
## 1000 0.0319 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2028 nan 0.1000 0.4070
## 2 2.8852 nan 0.1000 0.2044
## 3 2.6325 nan 0.1000 0.2583
## 4 2.4861 nan 0.1000 0.0811
## 5 2.2882 nan 0.1000 0.1739
## 6 2.1008 nan 0.1000 0.1113
## 7 1.9404 nan 0.1000 0.1404
## 8 1.8309 nan 0.1000 0.0709
## 9 1.6860 nan 0.1000 0.0992
## 10 1.6021 nan 0.1000 0.0306
## 20 1.0192 nan 0.1000 -0.0084
## 40 0.6087 nan 0.1000 -0.0145
## 60 0.3840 nan 0.1000 -0.0106
## 80 0.2505 nan 0.1000 -0.0079
## 100 0.1791 nan 0.1000 0.0014
## 120 0.1351 nan 0.1000 -0.0025
## 140 0.0982 nan 0.1000 -0.0022
## 160 0.0749 nan 0.1000 -0.0012
## 180 0.0600 nan 0.1000 -0.0012
## 200 0.0457 nan 0.1000 -0.0014
## 220 0.0344 nan 0.1000 -0.0003
## 240 0.0271 nan 0.1000 -0.0010
## 260 0.0211 nan 0.1000 -0.0004
## 280 0.0175 nan 0.1000 -0.0006
## 300 0.0144 nan 0.1000 -0.0004
## 320 0.0113 nan 0.1000 -0.0002
## 340 0.0090 nan 0.1000 -0.0003
## 360 0.0074 nan 0.1000 -0.0000
## 380 0.0058 nan 0.1000 -0.0002
## 400 0.0048 nan 0.1000 -0.0001
## 420 0.0038 nan 0.1000 -0.0000
## 440 0.0031 nan 0.1000 -0.0000
## 460 0.0027 nan 0.1000 -0.0001
## 480 0.0023 nan 0.1000 -0.0000
## 500 0.0019 nan 0.1000 -0.0001
## 520 0.0016 nan 0.1000 -0.0000
## 540 0.0013 nan 0.1000 -0.0000
## 560 0.0012 nan 0.1000 -0.0000
## 580 0.0010 nan 0.1000 -0.0000
## 600 0.0008 nan 0.1000 -0.0000
## 620 0.0007 nan 0.1000 -0.0000
## 640 0.0006 nan 0.1000 -0.0000
## 660 0.0005 nan 0.1000 -0.0000
## 680 0.0005 nan 0.1000 -0.0000
## 700 0.0004 nan 0.1000 -0.0000
## 720 0.0004 nan 0.1000 -0.0000
## 740 0.0004 nan 0.1000 -0.0000
## 760 0.0003 nan 0.1000 -0.0000
## 780 0.0003 nan 0.1000 -0.0000
## 800 0.0003 nan 0.1000 -0.0000
## 820 0.0002 nan 0.1000 -0.0000
## 840 0.0002 nan 0.1000 -0.0000
## 860 0.0002 nan 0.1000 -0.0000
## 880 0.0002 nan 0.1000 -0.0000
## 900 0.0001 nan 0.1000 -0.0000
## 920 0.0001 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2050 nan 0.1000 0.3468
## 2 2.8491 nan 0.1000 0.3340
## 3 2.5686 nan 0.1000 0.2798
## 4 2.3385 nan 0.1000 0.2136
## 5 2.1325 nan 0.1000 0.1651
## 6 1.9600 nan 0.1000 0.1276
## 7 1.8010 nan 0.1000 0.1388
## 8 1.6453 nan 0.1000 0.0828
## 9 1.5464 nan 0.1000 0.0739
## 10 1.4542 nan 0.1000 0.0672
## 20 0.9240 nan 0.1000 0.0019
## 40 0.5188 nan 0.1000 -0.0080
## 60 0.3018 nan 0.1000 -0.0016
## 80 0.2114 nan 0.1000 -0.0061
## 100 0.1537 nan 0.1000 -0.0032
## 120 0.1016 nan 0.1000 0.0001
## 140 0.0750 nan 0.1000 -0.0023
## 160 0.0571 nan 0.1000 -0.0023
## 180 0.0469 nan 0.1000 -0.0014
## 200 0.0334 nan 0.1000 -0.0007
## 220 0.0253 nan 0.1000 -0.0005
## 240 0.0187 nan 0.1000 -0.0002
## 260 0.0144 nan 0.1000 -0.0003
## 280 0.0113 nan 0.1000 -0.0001
## 300 0.0089 nan 0.1000 0.0000
## 320 0.0073 nan 0.1000 -0.0002
## 340 0.0061 nan 0.1000 -0.0001
## 360 0.0050 nan 0.1000 -0.0001
## 380 0.0041 nan 0.1000 -0.0000
## 400 0.0035 nan 0.1000 -0.0001
## 420 0.0030 nan 0.1000 -0.0000
## 440 0.0024 nan 0.1000 -0.0001
## 460 0.0022 nan 0.1000 -0.0001
## 480 0.0018 nan 0.1000 -0.0000
## 500 0.0015 nan 0.1000 -0.0000
## 520 0.0013 nan 0.1000 -0.0000
## 540 0.0011 nan 0.1000 -0.0000
## 560 0.0010 nan 0.1000 -0.0000
## 580 0.0009 nan 0.1000 -0.0000
## 600 0.0007 nan 0.1000 -0.0000
## 620 0.0006 nan 0.1000 -0.0000
## 640 0.0005 nan 0.1000 -0.0000
## 660 0.0005 nan 0.1000 -0.0000
## 680 0.0004 nan 0.1000 -0.0000
## 700 0.0004 nan 0.1000 -0.0000
## 720 0.0004 nan 0.1000 -0.0000
## 740 0.0003 nan 0.1000 -0.0000
## 760 0.0003 nan 0.1000 -0.0000
## 780 0.0002 nan 0.1000 -0.0000
## 800 0.0002 nan 0.1000 -0.0000
## 820 0.0002 nan 0.1000 -0.0000
## 840 0.0002 nan 0.1000 -0.0000
## 860 0.0001 nan 0.1000 -0.0000
## 880 0.0001 nan 0.1000 -0.0000
## 900 0.0001 nan 0.1000 -0.0000
## 920 0.0001 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2608 nan 0.1000 0.2795
## 2 2.9480 nan 0.1000 0.2318
## 3 2.6641 nan 0.1000 0.2198
## 4 2.3831 nan 0.1000 0.1876
## 5 2.1285 nan 0.1000 0.1250
## 6 1.9443 nan 0.1000 0.1841
## 7 1.7890 nan 0.1000 0.0984
## 8 1.6851 nan 0.1000 0.0510
## 9 1.5757 nan 0.1000 0.0706
## 10 1.5255 nan 0.1000 -0.0092
## 20 0.9540 nan 0.1000 -0.0147
## 40 0.5318 nan 0.1000 0.0017
## 60 0.3636 nan 0.1000 -0.0137
## 80 0.2166 nan 0.1000 -0.0038
## 100 0.1603 nan 0.1000 -0.0066
## 120 0.1186 nan 0.1000 -0.0034
## 140 0.0832 nan 0.1000 -0.0036
## 160 0.0589 nan 0.1000 -0.0010
## 180 0.0445 nan 0.1000 -0.0019
## 200 0.0344 nan 0.1000 0.0001
## 220 0.0262 nan 0.1000 -0.0011
## 240 0.0195 nan 0.1000 -0.0007
## 260 0.0145 nan 0.1000 -0.0006
## 280 0.0113 nan 0.1000 -0.0003
## 300 0.0090 nan 0.1000 -0.0002
## 320 0.0069 nan 0.1000 -0.0002
## 340 0.0056 nan 0.1000 -0.0001
## 360 0.0045 nan 0.1000 -0.0001
## 380 0.0037 nan 0.1000 -0.0000
## 400 0.0030 nan 0.1000 -0.0001
## 420 0.0025 nan 0.1000 -0.0000
## 440 0.0021 nan 0.1000 -0.0000
## 460 0.0017 nan 0.1000 -0.0000
## 480 0.0015 nan 0.1000 -0.0000
## 500 0.0013 nan 0.1000 -0.0000
## 520 0.0012 nan 0.1000 -0.0000
## 540 0.0010 nan 0.1000 -0.0000
## 560 0.0008 nan 0.1000 -0.0000
## 580 0.0007 nan 0.1000 -0.0000
## 600 0.0006 nan 0.1000 -0.0000
## 620 0.0005 nan 0.1000 -0.0000
## 640 0.0005 nan 0.1000 -0.0000
## 660 0.0004 nan 0.1000 -0.0000
## 680 0.0004 nan 0.1000 -0.0000
## 700 0.0003 nan 0.1000 -0.0000
## 720 0.0003 nan 0.1000 -0.0000
## 740 0.0003 nan 0.1000 -0.0000
## 760 0.0002 nan 0.1000 -0.0000
## 780 0.0002 nan 0.1000 -0.0000
## 800 0.0002 nan 0.1000 -0.0000
## 820 0.0002 nan 0.1000 -0.0000
## 840 0.0002 nan 0.1000 -0.0000
## 860 0.0001 nan 0.1000 -0.0000
## 880 0.0001 nan 0.1000 -0.0000
## 900 0.0001 nan 0.1000 -0.0000
## 920 0.0001 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1073 nan 0.0100 0.0259
## 2 3.0746 nan 0.0100 0.0226
## 3 3.0452 nan 0.0100 0.0244
## 4 3.0211 nan 0.0100 0.0217
## 5 2.9985 nan 0.0100 0.0218
## 6 2.9723 nan 0.0100 0.0208
## 7 2.9492 nan 0.0100 0.0188
## 8 2.9268 nan 0.0100 0.0209
## 9 2.8976 nan 0.0100 0.0178
## 10 2.8794 nan 0.0100 0.0197
## 20 2.6942 nan 0.0100 0.0145
## 40 2.3823 nan 0.0100 0.0118
## 60 2.1594 nan 0.0100 0.0042
## 80 1.9844 nan 0.0100 0.0064
## 100 1.8385 nan 0.0100 0.0027
## 120 1.7117 nan 0.0100 0.0041
## 140 1.6126 nan 0.0100 0.0035
## 160 1.5220 nan 0.0100 0.0011
## 180 1.4441 nan 0.0100 0.0021
## 200 1.3738 nan 0.0100 0.0013
## 220 1.3137 nan 0.0100 0.0021
## 240 1.2632 nan 0.0100 0.0014
## 260 1.2210 nan 0.0100 0.0003
## 280 1.1780 nan 0.0100 -0.0001
## 300 1.1433 nan 0.0100 -0.0027
## 320 1.1128 nan 0.0100 0.0003
## 340 1.0846 nan 0.0100 -0.0006
## 360 1.0585 nan 0.0100 -0.0008
## 380 1.0301 nan 0.0100 0.0006
## 400 1.0093 nan 0.0100 -0.0014
## 420 0.9860 nan 0.0100 -0.0001
## 440 0.9661 nan 0.0100 -0.0008
## 460 0.9470 nan 0.0100 -0.0005
## 480 0.9296 nan 0.0100 -0.0016
## 500 0.9118 nan 0.0100 -0.0014
## 520 0.8943 nan 0.0100 0.0002
## 540 0.8784 nan 0.0100 -0.0011
## 560 0.8636 nan 0.0100 -0.0015
## 580 0.8503 nan 0.0100 -0.0013
## 600 0.8357 nan 0.0100 -0.0009
## 620 0.8215 nan 0.0100 -0.0004
## 640 0.8078 nan 0.0100 -0.0005
## 660 0.7959 nan 0.0100 -0.0019
## 680 0.7839 nan 0.0100 -0.0004
## 700 0.7716 nan 0.0100 -0.0002
## 720 0.7618 nan 0.0100 -0.0008
## 740 0.7503 nan 0.0100 -0.0007
## 760 0.7420 nan 0.0100 -0.0001
## 780 0.7310 nan 0.0100 -0.0000
## 800 0.7217 nan 0.0100 -0.0004
## 820 0.7107 nan 0.0100 -0.0010
## 840 0.7002 nan 0.0100 -0.0011
## 860 0.6909 nan 0.0100 -0.0008
## 880 0.6819 nan 0.0100 -0.0005
## 900 0.6721 nan 0.0100 -0.0005
## 920 0.6622 nan 0.0100 -0.0003
## 940 0.6537 nan 0.0100 -0.0008
## 960 0.6447 nan 0.0100 -0.0005
## 980 0.6353 nan 0.0100 -0.0007
## 1000 0.6279 nan 0.0100 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.0939 nan 0.0100 0.0341
## 2 3.0594 nan 0.0100 0.0292
## 3 3.0244 nan 0.0100 0.0295
## 4 2.9927 nan 0.0100 0.0320
## 5 2.9654 nan 0.0100 0.0189
## 6 2.9340 nan 0.0100 0.0229
## 7 2.8975 nan 0.0100 0.0303
## 8 2.8624 nan 0.0100 0.0203
## 9 2.8326 nan 0.0100 0.0261
## 10 2.8049 nan 0.0100 0.0284
## 20 2.5579 nan 0.0100 0.0162
## 40 2.1158 nan 0.0100 0.0162
## 60 1.8024 nan 0.0100 0.0090
## 80 1.5614 nan 0.0100 0.0065
## 100 1.3755 nan 0.0100 0.0041
## 120 1.2313 nan 0.0100 0.0048
## 140 1.1241 nan 0.0100 0.0031
## 160 1.0256 nan 0.0100 0.0004
## 180 0.9446 nan 0.0100 0.0013
## 200 0.8774 nan 0.0100 0.0004
## 220 0.8185 nan 0.0100 0.0007
## 240 0.7663 nan 0.0100 0.0006
## 260 0.7180 nan 0.0100 0.0003
## 280 0.6794 nan 0.0100 -0.0006
## 300 0.6454 nan 0.0100 -0.0011
## 320 0.6108 nan 0.0100 -0.0008
## 340 0.5808 nan 0.0100 -0.0017
## 360 0.5542 nan 0.0100 0.0004
## 380 0.5256 nan 0.0100 0.0003
## 400 0.5002 nan 0.0100 -0.0003
## 420 0.4774 nan 0.0100 -0.0007
## 440 0.4572 nan 0.0100 -0.0010
## 460 0.4382 nan 0.0100 -0.0010
## 480 0.4195 nan 0.0100 -0.0005
## 500 0.4006 nan 0.0100 -0.0002
## 520 0.3845 nan 0.0100 -0.0002
## 540 0.3686 nan 0.0100 -0.0003
## 560 0.3543 nan 0.0100 -0.0008
## 580 0.3396 nan 0.0100 -0.0003
## 600 0.3256 nan 0.0100 -0.0006
## 620 0.3140 nan 0.0100 -0.0006
## 640 0.3028 nan 0.0100 -0.0008
## 660 0.2916 nan 0.0100 -0.0009
## 680 0.2807 nan 0.0100 -0.0005
## 700 0.2687 nan 0.0100 -0.0003
## 720 0.2592 nan 0.0100 -0.0003
## 740 0.2492 nan 0.0100 -0.0002
## 760 0.2389 nan 0.0100 -0.0005
## 780 0.2296 nan 0.0100 -0.0001
## 800 0.2214 nan 0.0100 -0.0003
## 820 0.2148 nan 0.0100 -0.0005
## 840 0.2077 nan 0.0100 -0.0004
## 860 0.2012 nan 0.0100 -0.0001
## 880 0.1948 nan 0.0100 -0.0006
## 900 0.1886 nan 0.0100 -0.0002
## 920 0.1814 nan 0.0100 -0.0003
## 940 0.1751 nan 0.0100 -0.0002
## 960 0.1699 nan 0.0100 -0.0003
## 980 0.1646 nan 0.0100 -0.0004
## 1000 0.1603 nan 0.0100 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1004 nan 0.0100 0.0290
## 2 3.0604 nan 0.0100 0.0373
## 3 3.0245 nan 0.0100 0.0317
## 4 2.9928 nan 0.0100 0.0294
## 5 2.9589 nan 0.0100 0.0334
## 6 2.9275 nan 0.0100 0.0261
## 7 2.8892 nan 0.0100 0.0278
## 8 2.8574 nan 0.0100 0.0291
## 9 2.8272 nan 0.0100 0.0259
## 10 2.7948 nan 0.0100 0.0254
## 20 2.5334 nan 0.0100 0.0214
## 40 2.0961 nan 0.0100 0.0125
## 60 1.7871 nan 0.0100 0.0103
## 80 1.5307 nan 0.0100 0.0018
## 100 1.3314 nan 0.0100 0.0029
## 120 1.1847 nan 0.0100 0.0023
## 140 1.0679 nan 0.0100 0.0023
## 160 0.9746 nan 0.0100 -0.0010
## 180 0.8950 nan 0.0100 0.0010
## 200 0.8283 nan 0.0100 0.0008
## 220 0.7700 nan 0.0100 -0.0007
## 240 0.7146 nan 0.0100 -0.0003
## 260 0.6636 nan 0.0100 0.0009
## 280 0.6235 nan 0.0100 0.0001
## 300 0.5872 nan 0.0100 -0.0003
## 320 0.5515 nan 0.0100 -0.0003
## 340 0.5173 nan 0.0100 -0.0006
## 360 0.4915 nan 0.0100 -0.0003
## 380 0.4625 nan 0.0100 -0.0008
## 400 0.4380 nan 0.0100 -0.0008
## 420 0.4136 nan 0.0100 -0.0010
## 440 0.3897 nan 0.0100 -0.0004
## 460 0.3687 nan 0.0100 -0.0001
## 480 0.3517 nan 0.0100 -0.0010
## 500 0.3326 nan 0.0100 -0.0005
## 520 0.3176 nan 0.0100 -0.0004
## 540 0.3022 nan 0.0100 -0.0005
## 560 0.2873 nan 0.0100 0.0003
## 580 0.2726 nan 0.0100 -0.0003
## 600 0.2565 nan 0.0100 -0.0003
## 620 0.2446 nan 0.0100 -0.0005
## 640 0.2348 nan 0.0100 -0.0002
## 660 0.2237 nan 0.0100 -0.0006
## 680 0.2136 nan 0.0100 -0.0003
## 700 0.2042 nan 0.0100 -0.0003
## 720 0.1959 nan 0.0100 -0.0003
## 740 0.1890 nan 0.0100 -0.0002
## 760 0.1804 nan 0.0100 -0.0003
## 780 0.1725 nan 0.0100 0.0001
## 800 0.1649 nan 0.0100 -0.0003
## 820 0.1586 nan 0.0100 -0.0003
## 840 0.1515 nan 0.0100 -0.0005
## 860 0.1451 nan 0.0100 -0.0007
## 880 0.1393 nan 0.0100 -0.0003
## 900 0.1335 nan 0.0100 -0.0001
## 920 0.1277 nan 0.0100 -0.0002
## 940 0.1225 nan 0.0100 -0.0002
## 960 0.1175 nan 0.0100 0.0000
## 980 0.1133 nan 0.0100 -0.0003
## 1000 0.1093 nan 0.0100 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.0939 nan 0.0100 0.0343
## 2 3.0554 nan 0.0100 0.0275
## 3 3.0188 nan 0.0100 0.0298
## 4 2.9864 nan 0.0100 0.0308
## 5 2.9516 nan 0.0100 0.0377
## 6 2.9207 nan 0.0100 0.0334
## 7 2.8847 nan 0.0100 0.0305
## 8 2.8535 nan 0.0100 0.0259
## 9 2.8183 nan 0.0100 0.0293
## 10 2.7892 nan 0.0100 0.0262
## 20 2.4999 nan 0.0100 0.0219
## 40 2.0422 nan 0.0100 0.0151
## 60 1.7322 nan 0.0100 0.0096
## 80 1.4963 nan 0.0100 0.0015
## 100 1.3102 nan 0.0100 0.0012
## 120 1.1641 nan 0.0100 0.0042
## 140 1.0472 nan 0.0100 0.0015
## 160 0.9556 nan 0.0100 0.0012
## 180 0.8754 nan 0.0100 0.0001
## 200 0.8078 nan 0.0100 0.0005
## 220 0.7431 nan 0.0100 -0.0020
## 240 0.6936 nan 0.0100 -0.0002
## 260 0.6467 nan 0.0100 -0.0010
## 280 0.6017 nan 0.0100 -0.0002
## 300 0.5659 nan 0.0100 -0.0008
## 320 0.5351 nan 0.0100 -0.0009
## 340 0.5051 nan 0.0100 -0.0007
## 360 0.4783 nan 0.0100 -0.0008
## 380 0.4472 nan 0.0100 -0.0002
## 400 0.4236 nan 0.0100 -0.0006
## 420 0.4000 nan 0.0100 -0.0006
## 440 0.3803 nan 0.0100 -0.0003
## 460 0.3616 nan 0.0100 -0.0010
## 480 0.3428 nan 0.0100 -0.0005
## 500 0.3275 nan 0.0100 0.0000
## 520 0.3104 nan 0.0100 0.0001
## 540 0.2942 nan 0.0100 -0.0000
## 560 0.2799 nan 0.0100 -0.0008
## 580 0.2660 nan 0.0100 0.0002
## 600 0.2541 nan 0.0100 -0.0002
## 620 0.2429 nan 0.0100 -0.0002
## 640 0.2327 nan 0.0100 -0.0006
## 660 0.2220 nan 0.0100 -0.0006
## 680 0.2120 nan 0.0100 -0.0003
## 700 0.2023 nan 0.0100 -0.0004
## 720 0.1937 nan 0.0100 -0.0005
## 740 0.1850 nan 0.0100 -0.0005
## 760 0.1772 nan 0.0100 -0.0004
## 780 0.1697 nan 0.0100 -0.0002
## 800 0.1622 nan 0.0100 -0.0004
## 820 0.1558 nan 0.0100 -0.0002
## 840 0.1484 nan 0.0100 -0.0000
## 860 0.1433 nan 0.0100 -0.0001
## 880 0.1378 nan 0.0100 -0.0001
## 900 0.1331 nan 0.0100 -0.0003
## 920 0.1275 nan 0.0100 -0.0002
## 940 0.1229 nan 0.0100 -0.0002
## 960 0.1180 nan 0.0100 -0.0000
## 980 0.1131 nan 0.0100 -0.0002
## 1000 0.1087 nan 0.0100 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 2.8585 nan 0.1000 0.2397
## 2 2.6625 nan 0.1000 0.1643
## 3 2.5168 nan 0.1000 0.1631
## 4 2.3361 nan 0.1000 0.0994
## 5 2.2324 nan 0.1000 0.0472
## 6 2.1237 nan 0.1000 0.0655
## 7 2.0377 nan 0.1000 0.0688
## 8 1.9717 nan 0.1000 0.0505
## 9 1.9070 nan 0.1000 0.0290
## 10 1.8538 nan 0.1000 0.0334
## 20 1.3351 nan 0.1000 0.0295
## 40 1.0077 nan 0.1000 -0.0068
## 60 0.8355 nan 0.1000 -0.0205
## 80 0.7304 nan 0.1000 -0.0102
## 100 0.6276 nan 0.1000 -0.0045
## 120 0.5466 nan 0.1000 -0.0048
## 140 0.4948 nan 0.1000 0.0000
## 160 0.4398 nan 0.1000 -0.0042
## 180 0.3949 nan 0.1000 -0.0061
## 200 0.3673 nan 0.1000 -0.0032
## 220 0.3411 nan 0.1000 -0.0053
## 240 0.3144 nan 0.1000 -0.0045
## 260 0.2872 nan 0.1000 -0.0020
## 280 0.2671 nan 0.1000 -0.0024
## 300 0.2483 nan 0.1000 -0.0043
## 320 0.2309 nan 0.1000 -0.0038
## 340 0.2162 nan 0.1000 -0.0030
## 360 0.1953 nan 0.1000 -0.0038
## 380 0.1844 nan 0.1000 -0.0038
## 400 0.1717 nan 0.1000 -0.0020
## 420 0.1619 nan 0.1000 -0.0014
## 440 0.1530 nan 0.1000 -0.0039
## 460 0.1452 nan 0.1000 -0.0006
## 480 0.1361 nan 0.1000 -0.0037
## 500 0.1287 nan 0.1000 -0.0017
## 520 0.1220 nan 0.1000 -0.0019
## 540 0.1148 nan 0.1000 -0.0013
## 560 0.1090 nan 0.1000 -0.0013
## 580 0.1016 nan 0.1000 -0.0015
## 600 0.0954 nan 0.1000 -0.0012
## 620 0.0910 nan 0.1000 -0.0009
## 640 0.0854 nan 0.1000 -0.0013
## 660 0.0800 nan 0.1000 -0.0014
## 680 0.0750 nan 0.1000 -0.0005
## 700 0.0718 nan 0.1000 -0.0011
## 720 0.0668 nan 0.1000 -0.0018
## 740 0.0634 nan 0.1000 -0.0008
## 760 0.0614 nan 0.1000 -0.0009
## 780 0.0585 nan 0.1000 -0.0009
## 800 0.0559 nan 0.1000 -0.0004
## 820 0.0528 nan 0.1000 -0.0002
## 840 0.0503 nan 0.1000 -0.0005
## 860 0.0482 nan 0.1000 -0.0002
## 880 0.0462 nan 0.1000 -0.0013
## 900 0.0442 nan 0.1000 -0.0006
## 920 0.0416 nan 0.1000 -0.0006
## 940 0.0398 nan 0.1000 -0.0006
## 960 0.0376 nan 0.1000 -0.0002
## 980 0.0355 nan 0.1000 -0.0006
## 1000 0.0340 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 2.8433 nan 0.1000 0.2327
## 2 2.5637 nan 0.1000 0.2899
## 3 2.2736 nan 0.1000 0.2262
## 4 2.1025 nan 0.1000 0.1130
## 5 1.9356 nan 0.1000 0.1579
## 6 1.7541 nan 0.1000 0.1553
## 7 1.6346 nan 0.1000 0.1100
## 8 1.5192 nan 0.1000 0.0463
## 9 1.4369 nan 0.1000 0.0299
## 10 1.3709 nan 0.1000 0.0181
## 20 0.9423 nan 0.1000 -0.0067
## 40 0.5660 nan 0.1000 0.0004
## 60 0.3648 nan 0.1000 -0.0127
## 80 0.2662 nan 0.1000 -0.0036
## 100 0.1858 nan 0.1000 -0.0039
## 120 0.1423 nan 0.1000 -0.0032
## 140 0.1092 nan 0.1000 -0.0017
## 160 0.0849 nan 0.1000 -0.0036
## 180 0.0707 nan 0.1000 -0.0030
## 200 0.0560 nan 0.1000 -0.0018
## 220 0.0452 nan 0.1000 -0.0013
## 240 0.0343 nan 0.1000 -0.0002
## 260 0.0267 nan 0.1000 -0.0004
## 280 0.0216 nan 0.1000 -0.0005
## 300 0.0180 nan 0.1000 -0.0005
## 320 0.0148 nan 0.1000 -0.0006
## 340 0.0124 nan 0.1000 -0.0004
## 360 0.0103 nan 0.1000 -0.0003
## 380 0.0087 nan 0.1000 -0.0002
## 400 0.0076 nan 0.1000 -0.0002
## 420 0.0062 nan 0.1000 -0.0002
## 440 0.0051 nan 0.1000 -0.0002
## 460 0.0044 nan 0.1000 -0.0001
## 480 0.0037 nan 0.1000 -0.0001
## 500 0.0031 nan 0.1000 -0.0001
## 520 0.0026 nan 0.1000 -0.0000
## 540 0.0022 nan 0.1000 -0.0001
## 560 0.0019 nan 0.1000 -0.0000
## 580 0.0018 nan 0.1000 -0.0001
## 600 0.0015 nan 0.1000 -0.0000
## 620 0.0013 nan 0.1000 -0.0000
## 640 0.0012 nan 0.1000 -0.0000
## 660 0.0011 nan 0.1000 -0.0000
## 680 0.0010 nan 0.1000 -0.0000
## 700 0.0009 nan 0.1000 -0.0000
## 720 0.0008 nan 0.1000 -0.0000
## 740 0.0007 nan 0.1000 -0.0000
## 760 0.0006 nan 0.1000 -0.0000
## 780 0.0006 nan 0.1000 -0.0000
## 800 0.0005 nan 0.1000 -0.0000
## 820 0.0004 nan 0.1000 -0.0000
## 840 0.0004 nan 0.1000 -0.0000
## 860 0.0003 nan 0.1000 -0.0000
## 880 0.0003 nan 0.1000 -0.0000
## 900 0.0003 nan 0.1000 -0.0000
## 920 0.0002 nan 0.1000 -0.0000
## 940 0.0002 nan 0.1000 -0.0000
## 960 0.0002 nan 0.1000 -0.0000
## 980 0.0002 nan 0.1000 0.0000
## 1000 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 2.8246 nan 0.1000 0.2827
## 2 2.5089 nan 0.1000 0.2525
## 3 2.2841 nan 0.1000 0.1905
## 4 2.0529 nan 0.1000 0.1997
## 5 1.8653 nan 0.1000 0.1191
## 6 1.7404 nan 0.1000 0.0807
## 7 1.6485 nan 0.1000 0.0370
## 8 1.5569 nan 0.1000 0.0304
## 9 1.4499 nan 0.1000 0.0574
## 10 1.3659 nan 0.1000 0.0456
## 20 0.8456 nan 0.1000 0.0236
## 40 0.4425 nan 0.1000 -0.0069
## 60 0.2693 nan 0.1000 0.0008
## 80 0.1680 nan 0.1000 -0.0020
## 100 0.1102 nan 0.1000 -0.0043
## 120 0.0718 nan 0.1000 -0.0035
## 140 0.0495 nan 0.1000 -0.0005
## 160 0.0352 nan 0.1000 -0.0008
## 180 0.0253 nan 0.1000 -0.0006
## 200 0.0178 nan 0.1000 -0.0004
## 220 0.0131 nan 0.1000 -0.0002
## 240 0.0097 nan 0.1000 -0.0003
## 260 0.0073 nan 0.1000 -0.0003
## 280 0.0055 nan 0.1000 -0.0001
## 300 0.0041 nan 0.1000 -0.0001
## 320 0.0031 nan 0.1000 -0.0000
## 340 0.0021 nan 0.1000 -0.0000
## 360 0.0015 nan 0.1000 -0.0000
## 380 0.0011 nan 0.1000 -0.0000
## 400 0.0008 nan 0.1000 -0.0000
## 420 0.0006 nan 0.1000 -0.0000
## 440 0.0005 nan 0.1000 -0.0000
## 460 0.0003 nan 0.1000 -0.0000
## 480 0.0003 nan 0.1000 -0.0000
## 500 0.0002 nan 0.1000 -0.0000
## 520 0.0002 nan 0.1000 -0.0000
## 540 0.0002 nan 0.1000 -0.0000
## 560 0.0001 nan 0.1000 -0.0000
## 580 0.0001 nan 0.1000 -0.0000
## 600 0.0001 nan 0.1000 -0.0000
## 620 0.0001 nan 0.1000 -0.0000
## 640 0.0001 nan 0.1000 -0.0000
## 660 0.0000 nan 0.1000 -0.0000
## 680 0.0000 nan 0.1000 -0.0000
## 700 0.0000 nan 0.1000 -0.0000
## 720 0.0000 nan 0.1000 -0.0000
## 740 0.0000 nan 0.1000 -0.0000
## 760 0.0000 nan 0.1000 -0.0000
## 780 0.0000 nan 0.1000 -0.0000
## 800 0.0000 nan 0.1000 -0.0000
## 820 0.0000 nan 0.1000 -0.0000
## 840 0.0000 nan 0.1000 -0.0000
## 860 0.0000 nan 0.1000 -0.0000
## 880 0.0000 nan 0.1000 -0.0000
## 900 0.0000 nan 0.1000 -0.0000
## 920 0.0000 nan 0.1000 -0.0000
## 940 0.0000 nan 0.1000 -0.0000
## 960 0.0000 nan 0.1000 -0.0000
## 980 0.0000 nan 0.1000 -0.0000
## 1000 0.0000 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 2.8153 nan 0.1000 0.3117
## 2 2.5126 nan 0.1000 0.2176
## 3 2.2676 nan 0.1000 0.1707
## 4 2.0608 nan 0.1000 0.1719
## 5 1.9029 nan 0.1000 0.1166
## 6 1.8004 nan 0.1000 0.0622
## 7 1.6448 nan 0.1000 0.0761
## 8 1.5449 nan 0.1000 0.0668
## 9 1.4535 nan 0.1000 -0.0060
## 10 1.3810 nan 0.1000 0.0184
## 20 0.8181 nan 0.1000 -0.0073
## 40 0.4530 nan 0.1000 -0.0074
## 60 0.2585 nan 0.1000 -0.0021
## 80 0.1657 nan 0.1000 -0.0022
## 100 0.1155 nan 0.1000 -0.0011
## 120 0.0768 nan 0.1000 -0.0038
## 140 0.0530 nan 0.1000 -0.0006
## 160 0.0364 nan 0.1000 -0.0000
## 180 0.0274 nan 0.1000 -0.0006
## 200 0.0210 nan 0.1000 -0.0004
## 220 0.0164 nan 0.1000 -0.0003
## 240 0.0123 nan 0.1000 -0.0002
## 260 0.0095 nan 0.1000 -0.0003
## 280 0.0079 nan 0.1000 -0.0002
## 300 0.0063 nan 0.1000 -0.0001
## 320 0.0054 nan 0.1000 -0.0000
## 340 0.0044 nan 0.1000 -0.0000
## 360 0.0036 nan 0.1000 -0.0000
## 380 0.0030 nan 0.1000 -0.0001
## 400 0.0027 nan 0.1000 -0.0001
## 420 0.0024 nan 0.1000 -0.0000
## 440 0.0021 nan 0.1000 -0.0000
## 460 0.0018 nan 0.1000 -0.0000
## 480 0.0015 nan 0.1000 -0.0000
## 500 0.0013 nan 0.1000 -0.0000
## 520 0.0011 nan 0.1000 -0.0000
## 540 0.0010 nan 0.1000 -0.0000
## 560 0.0009 nan 0.1000 -0.0000
## 580 0.0008 nan 0.1000 -0.0000
## 600 0.0007 nan 0.1000 -0.0000
## 620 0.0006 nan 0.1000 -0.0000
## 640 0.0006 nan 0.1000 -0.0000
## 660 0.0005 nan 0.1000 -0.0000
## 680 0.0004 nan 0.1000 -0.0000
## 700 0.0003 nan 0.1000 -0.0000
## 720 0.0003 nan 0.1000 -0.0000
## 740 0.0003 nan 0.1000 -0.0000
## 760 0.0002 nan 0.1000 -0.0000
## 780 0.0002 nan 0.1000 -0.0000
## 800 0.0002 nan 0.1000 -0.0000
## 820 0.0001 nan 0.1000 -0.0000
## 840 0.0001 nan 0.1000 -0.0000
## 860 0.0001 nan 0.1000 -0.0000
## 880 0.0001 nan 0.1000 0.0000
## 900 0.0001 nan 0.1000 -0.0000
## 920 0.0001 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5199 nan 0.0100 0.0266
## 2 3.4916 nan 0.0100 0.0209
## 3 3.4587 nan 0.0100 0.0261
## 4 3.4315 nan 0.0100 0.0294
## 5 3.4045 nan 0.0100 0.0207
## 6 3.3815 nan 0.0100 0.0249
## 7 3.3561 nan 0.0100 0.0242
## 8 3.3354 nan 0.0100 0.0242
## 9 3.3118 nan 0.0100 0.0230
## 10 3.2856 nan 0.0100 0.0213
## 20 3.0635 nan 0.0100 0.0183
## 40 2.7241 nan 0.0100 0.0115
## 60 2.4486 nan 0.0100 0.0089
## 80 2.2227 nan 0.0100 0.0073
## 100 2.0396 nan 0.0100 0.0044
## 120 1.8878 nan 0.0100 0.0065
## 140 1.7544 nan 0.0100 0.0020
## 160 1.6396 nan 0.0100 0.0040
## 180 1.5316 nan 0.0100 0.0033
## 200 1.4463 nan 0.0100 0.0034
## 220 1.3733 nan 0.0100 0.0026
## 240 1.3136 nan 0.0100 0.0027
## 260 1.2594 nan 0.0100 -0.0014
## 280 1.2122 nan 0.0100 0.0008
## 300 1.1744 nan 0.0100 0.0012
## 320 1.1363 nan 0.0100 0.0011
## 340 1.1023 nan 0.0100 0.0009
## 360 1.0754 nan 0.0100 -0.0004
## 380 1.0487 nan 0.0100 -0.0010
## 400 1.0236 nan 0.0100 -0.0008
## 420 0.9995 nan 0.0100 -0.0000
## 440 0.9833 nan 0.0100 -0.0008
## 460 0.9647 nan 0.0100 -0.0000
## 480 0.9452 nan 0.0100 -0.0005
## 500 0.9264 nan 0.0100 -0.0009
## 520 0.9128 nan 0.0100 -0.0010
## 540 0.8973 nan 0.0100 -0.0008
## 560 0.8824 nan 0.0100 -0.0006
## 580 0.8703 nan 0.0100 -0.0006
## 600 0.8574 nan 0.0100 -0.0009
## 620 0.8426 nan 0.0100 -0.0011
## 640 0.8274 nan 0.0100 -0.0010
## 660 0.8140 nan 0.0100 0.0000
## 680 0.8019 nan 0.0100 -0.0010
## 700 0.7899 nan 0.0100 -0.0001
## 720 0.7785 nan 0.0100 -0.0000
## 740 0.7665 nan 0.0100 -0.0008
## 760 0.7563 nan 0.0100 -0.0003
## 780 0.7453 nan 0.0100 -0.0003
## 800 0.7358 nan 0.0100 -0.0006
## 820 0.7255 nan 0.0100 -0.0014
## 840 0.7161 nan 0.0100 -0.0009
## 860 0.7053 nan 0.0100 -0.0005
## 880 0.6960 nan 0.0100 -0.0006
## 900 0.6863 nan 0.0100 -0.0003
## 920 0.6784 nan 0.0100 -0.0003
## 940 0.6698 nan 0.0100 -0.0016
## 960 0.6610 nan 0.0100 -0.0007
## 980 0.6532 nan 0.0100 0.0002
## 1000 0.6431 nan 0.0100 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5162 nan 0.0100 0.0306
## 2 3.4829 nan 0.0100 0.0261
## 3 3.4452 nan 0.0100 0.0339
## 4 3.4112 nan 0.0100 0.0300
## 5 3.3734 nan 0.0100 0.0390
## 6 3.3417 nan 0.0100 0.0195
## 7 3.3089 nan 0.0100 0.0272
## 8 3.2686 nan 0.0100 0.0289
## 9 3.2397 nan 0.0100 0.0148
## 10 3.2074 nan 0.0100 0.0308
## 20 2.8803 nan 0.0100 0.0241
## 40 2.3886 nan 0.0100 0.0189
## 60 2.0276 nan 0.0100 0.0109
## 80 1.7421 nan 0.0100 0.0057
## 100 1.5293 nan 0.0100 0.0072
## 120 1.3541 nan 0.0100 0.0024
## 140 1.2273 nan 0.0100 0.0042
## 160 1.1125 nan 0.0100 0.0022
## 180 1.0241 nan 0.0100 0.0008
## 200 0.9488 nan 0.0100 0.0025
## 220 0.8822 nan 0.0100 -0.0010
## 240 0.8254 nan 0.0100 -0.0006
## 260 0.7732 nan 0.0100 -0.0011
## 280 0.7271 nan 0.0100 0.0011
## 300 0.6893 nan 0.0100 0.0010
## 320 0.6476 nan 0.0100 0.0013
## 340 0.6192 nan 0.0100 -0.0012
## 360 0.5864 nan 0.0100 0.0003
## 380 0.5549 nan 0.0100 -0.0005
## 400 0.5303 nan 0.0100 -0.0012
## 420 0.5038 nan 0.0100 0.0001
## 440 0.4763 nan 0.0100 0.0001
## 460 0.4554 nan 0.0100 -0.0005
## 480 0.4351 nan 0.0100 -0.0009
## 500 0.4180 nan 0.0100 -0.0008
## 520 0.4020 nan 0.0100 -0.0003
## 540 0.3843 nan 0.0100 -0.0002
## 560 0.3704 nan 0.0100 -0.0004
## 580 0.3550 nan 0.0100 -0.0006
## 600 0.3385 nan 0.0100 -0.0005
## 620 0.3256 nan 0.0100 -0.0005
## 640 0.3108 nan 0.0100 0.0005
## 660 0.2977 nan 0.0100 -0.0002
## 680 0.2871 nan 0.0100 -0.0008
## 700 0.2760 nan 0.0100 -0.0006
## 720 0.2648 nan 0.0100 -0.0006
## 740 0.2562 nan 0.0100 -0.0002
## 760 0.2469 nan 0.0100 -0.0005
## 780 0.2387 nan 0.0100 -0.0002
## 800 0.2302 nan 0.0100 -0.0002
## 820 0.2233 nan 0.0100 -0.0001
## 840 0.2150 nan 0.0100 -0.0002
## 860 0.2069 nan 0.0100 -0.0004
## 880 0.1996 nan 0.0100 -0.0005
## 900 0.1930 nan 0.0100 -0.0002
## 920 0.1861 nan 0.0100 -0.0002
## 940 0.1796 nan 0.0100 -0.0006
## 960 0.1739 nan 0.0100 -0.0002
## 980 0.1682 nan 0.0100 -0.0002
## 1000 0.1627 nan 0.0100 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5086 nan 0.0100 0.0324
## 2 3.4613 nan 0.0100 0.0422
## 3 3.4161 nan 0.0100 0.0379
## 4 3.3836 nan 0.0100 0.0282
## 5 3.3457 nan 0.0100 0.0348
## 6 3.3091 nan 0.0100 0.0265
## 7 3.2876 nan 0.0100 0.0130
## 8 3.2474 nan 0.0100 0.0313
## 9 3.2050 nan 0.0100 0.0325
## 10 3.1702 nan 0.0100 0.0260
## 20 2.8419 nan 0.0100 0.0280
## 40 2.3391 nan 0.0100 0.0167
## 60 1.9689 nan 0.0100 0.0100
## 80 1.6764 nan 0.0100 0.0106
## 100 1.4585 nan 0.0100 0.0020
## 120 1.2863 nan 0.0100 0.0027
## 140 1.1552 nan 0.0100 -0.0034
## 160 1.0389 nan 0.0100 0.0041
## 180 0.9492 nan 0.0100 0.0010
## 200 0.8701 nan 0.0100 0.0017
## 220 0.8076 nan 0.0100 0.0024
## 240 0.7522 nan 0.0100 -0.0025
## 260 0.7075 nan 0.0100 -0.0019
## 280 0.6635 nan 0.0100 -0.0018
## 300 0.6233 nan 0.0100 -0.0005
## 320 0.5894 nan 0.0100 -0.0004
## 340 0.5605 nan 0.0100 0.0007
## 360 0.5258 nan 0.0100 -0.0008
## 380 0.4917 nan 0.0100 -0.0009
## 400 0.4673 nan 0.0100 0.0002
## 420 0.4426 nan 0.0100 -0.0006
## 440 0.4199 nan 0.0100 -0.0003
## 460 0.3978 nan 0.0100 -0.0001
## 480 0.3778 nan 0.0100 -0.0001
## 500 0.3591 nan 0.0100 -0.0009
## 520 0.3428 nan 0.0100 -0.0003
## 540 0.3264 nan 0.0100 -0.0009
## 560 0.3126 nan 0.0100 -0.0004
## 580 0.2987 nan 0.0100 -0.0008
## 600 0.2847 nan 0.0100 -0.0006
## 620 0.2738 nan 0.0100 -0.0003
## 640 0.2612 nan 0.0100 -0.0001
## 660 0.2509 nan 0.0100 -0.0006
## 680 0.2414 nan 0.0100 -0.0001
## 700 0.2309 nan 0.0100 0.0000
## 720 0.2214 nan 0.0100 -0.0002
## 740 0.2132 nan 0.0100 -0.0005
## 760 0.2048 nan 0.0100 -0.0004
## 780 0.1959 nan 0.0100 -0.0004
## 800 0.1886 nan 0.0100 -0.0003
## 820 0.1807 nan 0.0100 -0.0005
## 840 0.1749 nan 0.0100 -0.0003
## 860 0.1695 nan 0.0100 -0.0002
## 880 0.1638 nan 0.0100 -0.0001
## 900 0.1578 nan 0.0100 -0.0003
## 920 0.1518 nan 0.0100 -0.0004
## 940 0.1467 nan 0.0100 -0.0001
## 960 0.1416 nan 0.0100 -0.0001
## 980 0.1362 nan 0.0100 -0.0003
## 1000 0.1311 nan 0.0100 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5075 nan 0.0100 0.0406
## 2 3.4705 nan 0.0100 0.0399
## 3 3.4259 nan 0.0100 0.0377
## 4 3.3921 nan 0.0100 0.0316
## 5 3.3538 nan 0.0100 0.0328
## 6 3.3120 nan 0.0100 0.0299
## 7 3.2657 nan 0.0100 0.0387
## 8 3.2382 nan 0.0100 0.0094
## 9 3.2069 nan 0.0100 0.0235
## 10 3.1646 nan 0.0100 0.0304
## 20 2.8667 nan 0.0100 0.0249
## 40 2.3337 nan 0.0100 0.0097
## 60 1.9558 nan 0.0100 0.0143
## 80 1.6682 nan 0.0100 0.0056
## 100 1.4593 nan 0.0100 0.0055
## 120 1.2950 nan 0.0100 0.0032
## 140 1.1596 nan 0.0100 0.0012
## 160 1.0499 nan 0.0100 0.0010
## 180 0.9532 nan 0.0100 0.0010
## 200 0.8777 nan 0.0100 0.0016
## 220 0.8090 nan 0.0100 0.0007
## 240 0.7508 nan 0.0100 -0.0011
## 260 0.6970 nan 0.0100 0.0007
## 280 0.6522 nan 0.0100 -0.0014
## 300 0.6193 nan 0.0100 -0.0020
## 320 0.5765 nan 0.0100 -0.0004
## 340 0.5443 nan 0.0100 0.0005
## 360 0.5118 nan 0.0100 -0.0010
## 380 0.4824 nan 0.0100 0.0001
## 400 0.4534 nan 0.0100 -0.0004
## 420 0.4301 nan 0.0100 -0.0004
## 440 0.4072 nan 0.0100 0.0001
## 460 0.3836 nan 0.0100 0.0003
## 480 0.3638 nan 0.0100 -0.0008
## 500 0.3442 nan 0.0100 -0.0002
## 520 0.3269 nan 0.0100 -0.0002
## 540 0.3126 nan 0.0100 -0.0008
## 560 0.2981 nan 0.0100 -0.0009
## 580 0.2862 nan 0.0100 -0.0004
## 600 0.2737 nan 0.0100 -0.0002
## 620 0.2605 nan 0.0100 0.0001
## 640 0.2496 nan 0.0100 -0.0004
## 660 0.2392 nan 0.0100 -0.0004
## 680 0.2294 nan 0.0100 0.0002
## 700 0.2202 nan 0.0100 0.0001
## 720 0.2108 nan 0.0100 -0.0002
## 740 0.2013 nan 0.0100 -0.0007
## 760 0.1931 nan 0.0100 -0.0004
## 780 0.1864 nan 0.0100 -0.0005
## 800 0.1801 nan 0.0100 -0.0003
## 820 0.1730 nan 0.0100 -0.0004
## 840 0.1672 nan 0.0100 -0.0002
## 860 0.1611 nan 0.0100 -0.0004
## 880 0.1562 nan 0.0100 -0.0006
## 900 0.1506 nan 0.0100 -0.0002
## 920 0.1438 nan 0.0100 -0.0002
## 940 0.1389 nan 0.0100 -0.0003
## 960 0.1342 nan 0.0100 -0.0003
## 980 0.1292 nan 0.0100 -0.0003
## 1000 0.1249 nan 0.0100 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2112 nan 0.1000 0.2399
## 2 3.0470 nan 0.1000 0.0784
## 3 2.8502 nan 0.1000 0.1790
## 4 2.6867 nan 0.1000 0.0835
## 5 2.5027 nan 0.1000 0.1403
## 6 2.3797 nan 0.1000 0.1110
## 7 2.2853 nan 0.1000 0.1059
## 8 2.1620 nan 0.1000 0.1163
## 9 2.0745 nan 0.1000 0.0468
## 10 2.0010 nan 0.1000 0.0672
## 20 1.4367 nan 0.1000 0.0286
## 40 1.0213 nan 0.1000 -0.0024
## 60 0.8617 nan 0.1000 -0.0204
## 80 0.7557 nan 0.1000 -0.0302
## 100 0.6820 nan 0.1000 -0.0140
## 120 0.6054 nan 0.1000 -0.0119
## 140 0.5515 nan 0.1000 -0.0152
## 160 0.5087 nan 0.1000 -0.0052
## 180 0.4671 nan 0.1000 -0.0050
## 200 0.4371 nan 0.1000 -0.0079
## 220 0.3981 nan 0.1000 -0.0026
## 240 0.3631 nan 0.1000 -0.0025
## 260 0.3362 nan 0.1000 -0.0034
## 280 0.3158 nan 0.1000 -0.0054
## 300 0.2976 nan 0.1000 -0.0022
## 320 0.2787 nan 0.1000 -0.0045
## 340 0.2566 nan 0.1000 -0.0042
## 360 0.2400 nan 0.1000 -0.0022
## 380 0.2244 nan 0.1000 -0.0037
## 400 0.2087 nan 0.1000 -0.0021
## 420 0.1940 nan 0.1000 -0.0025
## 440 0.1814 nan 0.1000 -0.0005
## 460 0.1706 nan 0.1000 -0.0011
## 480 0.1594 nan 0.1000 -0.0017
## 500 0.1507 nan 0.1000 -0.0013
## 520 0.1409 nan 0.1000 -0.0021
## 540 0.1332 nan 0.1000 -0.0014
## 560 0.1285 nan 0.1000 -0.0019
## 580 0.1194 nan 0.1000 -0.0008
## 600 0.1132 nan 0.1000 -0.0014
## 620 0.1072 nan 0.1000 -0.0014
## 640 0.0994 nan 0.1000 -0.0016
## 660 0.0953 nan 0.1000 -0.0008
## 680 0.0911 nan 0.1000 -0.0009
## 700 0.0865 nan 0.1000 -0.0004
## 720 0.0833 nan 0.1000 -0.0010
## 740 0.0777 nan 0.1000 -0.0011
## 760 0.0736 nan 0.1000 -0.0006
## 780 0.0704 nan 0.1000 -0.0010
## 800 0.0666 nan 0.1000 -0.0006
## 820 0.0626 nan 0.1000 -0.0008
## 840 0.0600 nan 0.1000 -0.0012
## 860 0.0574 nan 0.1000 -0.0013
## 880 0.0545 nan 0.1000 -0.0006
## 900 0.0527 nan 0.1000 -0.0006
## 920 0.0504 nan 0.1000 -0.0004
## 940 0.0475 nan 0.1000 -0.0007
## 960 0.0446 nan 0.1000 -0.0005
## 980 0.0425 nan 0.1000 -0.0006
## 1000 0.0400 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1938 nan 0.1000 0.3400
## 2 2.9205 nan 0.1000 0.2177
## 3 2.6433 nan 0.1000 0.2190
## 4 2.3979 nan 0.1000 0.1757
## 5 2.2180 nan 0.1000 0.1362
## 6 2.0308 nan 0.1000 0.1369
## 7 1.9144 nan 0.1000 0.0830
## 8 1.7717 nan 0.1000 0.1035
## 9 1.6586 nan 0.1000 0.1077
## 10 1.5337 nan 0.1000 0.0509
## 20 0.9527 nan 0.1000 0.0096
## 40 0.5394 nan 0.1000 -0.0092
## 60 0.3620 nan 0.1000 -0.0068
## 80 0.2598 nan 0.1000 -0.0017
## 100 0.1910 nan 0.1000 -0.0010
## 120 0.1408 nan 0.1000 -0.0021
## 140 0.1055 nan 0.1000 -0.0026
## 160 0.0817 nan 0.1000 -0.0016
## 180 0.0642 nan 0.1000 -0.0007
## 200 0.0506 nan 0.1000 -0.0003
## 220 0.0426 nan 0.1000 -0.0014
## 240 0.0349 nan 0.1000 -0.0007
## 260 0.0291 nan 0.1000 -0.0008
## 280 0.0234 nan 0.1000 -0.0002
## 300 0.0193 nan 0.1000 -0.0004
## 320 0.0158 nan 0.1000 -0.0002
## 340 0.0134 nan 0.1000 -0.0001
## 360 0.0110 nan 0.1000 -0.0001
## 380 0.0095 nan 0.1000 -0.0001
## 400 0.0080 nan 0.1000 -0.0002
## 420 0.0068 nan 0.1000 -0.0001
## 440 0.0057 nan 0.1000 -0.0002
## 460 0.0048 nan 0.1000 -0.0001
## 480 0.0041 nan 0.1000 -0.0001
## 500 0.0036 nan 0.1000 -0.0001
## 520 0.0030 nan 0.1000 -0.0000
## 540 0.0025 nan 0.1000 -0.0000
## 560 0.0022 nan 0.1000 -0.0000
## 580 0.0019 nan 0.1000 -0.0000
## 600 0.0016 nan 0.1000 -0.0000
## 620 0.0014 nan 0.1000 -0.0000
## 640 0.0012 nan 0.1000 -0.0000
## 660 0.0010 nan 0.1000 -0.0000
## 680 0.0009 nan 0.1000 -0.0000
## 700 0.0007 nan 0.1000 -0.0000
## 720 0.0006 nan 0.1000 -0.0000
## 740 0.0005 nan 0.1000 -0.0000
## 760 0.0005 nan 0.1000 -0.0000
## 780 0.0004 nan 0.1000 -0.0000
## 800 0.0004 nan 0.1000 -0.0000
## 820 0.0003 nan 0.1000 -0.0000
## 840 0.0003 nan 0.1000 -0.0000
## 860 0.0002 nan 0.1000 -0.0000
## 880 0.0002 nan 0.1000 -0.0000
## 900 0.0002 nan 0.1000 -0.0000
## 920 0.0001 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1724 nan 0.1000 0.3127
## 2 2.8673 nan 0.1000 0.2887
## 3 2.5857 nan 0.1000 0.3041
## 4 2.3773 nan 0.1000 0.2113
## 5 2.1662 nan 0.1000 0.1298
## 6 1.9900 nan 0.1000 0.1511
## 7 1.8326 nan 0.1000 0.1150
## 8 1.6809 nan 0.1000 0.1018
## 9 1.5622 nan 0.1000 0.0911
## 10 1.4518 nan 0.1000 0.0539
## 20 0.9145 nan 0.1000 0.0079
## 40 0.4968 nan 0.1000 0.0012
## 60 0.3125 nan 0.1000 -0.0028
## 80 0.2147 nan 0.1000 -0.0037
## 100 0.1483 nan 0.1000 -0.0027
## 120 0.1082 nan 0.1000 -0.0049
## 140 0.0792 nan 0.1000 -0.0017
## 160 0.0607 nan 0.1000 -0.0019
## 180 0.0468 nan 0.1000 -0.0015
## 200 0.0368 nan 0.1000 -0.0006
## 220 0.0298 nan 0.1000 -0.0002
## 240 0.0246 nan 0.1000 -0.0005
## 260 0.0196 nan 0.1000 -0.0002
## 280 0.0160 nan 0.1000 -0.0003
## 300 0.0131 nan 0.1000 -0.0003
## 320 0.0114 nan 0.1000 -0.0002
## 340 0.0091 nan 0.1000 -0.0003
## 360 0.0077 nan 0.1000 -0.0002
## 380 0.0069 nan 0.1000 -0.0001
## 400 0.0058 nan 0.1000 -0.0001
## 420 0.0046 nan 0.1000 -0.0001
## 440 0.0040 nan 0.1000 -0.0001
## 460 0.0036 nan 0.1000 -0.0001
## 480 0.0030 nan 0.1000 -0.0000
## 500 0.0027 nan 0.1000 -0.0001
## 520 0.0024 nan 0.1000 -0.0000
## 540 0.0020 nan 0.1000 -0.0000
## 560 0.0017 nan 0.1000 0.0000
## 580 0.0015 nan 0.1000 -0.0001
## 600 0.0013 nan 0.1000 -0.0000
## 620 0.0012 nan 0.1000 -0.0000
## 640 0.0011 nan 0.1000 -0.0000
## 660 0.0009 nan 0.1000 -0.0000
## 680 0.0008 nan 0.1000 -0.0000
## 700 0.0007 nan 0.1000 -0.0000
## 720 0.0007 nan 0.1000 -0.0000
## 740 0.0006 nan 0.1000 -0.0000
## 760 0.0005 nan 0.1000 -0.0000
## 780 0.0005 nan 0.1000 -0.0000
## 800 0.0004 nan 0.1000 -0.0000
## 820 0.0004 nan 0.1000 -0.0000
## 840 0.0003 nan 0.1000 -0.0000
## 860 0.0003 nan 0.1000 -0.0000
## 880 0.0002 nan 0.1000 -0.0000
## 900 0.0002 nan 0.1000 -0.0000
## 920 0.0002 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1346 nan 0.1000 0.3621
## 2 2.8047 nan 0.1000 0.2020
## 3 2.5559 nan 0.1000 0.1830
## 4 2.3195 nan 0.1000 0.2358
## 5 2.0609 nan 0.1000 0.1461
## 6 1.9016 nan 0.1000 0.1285
## 7 1.7734 nan 0.1000 0.1036
## 8 1.6182 nan 0.1000 0.0787
## 9 1.5294 nan 0.1000 0.0426
## 10 1.4362 nan 0.1000 0.0592
## 20 0.8998 nan 0.1000 -0.0085
## 40 0.5358 nan 0.1000 -0.0121
## 60 0.3267 nan 0.1000 -0.0034
## 80 0.2184 nan 0.1000 -0.0104
## 100 0.1512 nan 0.1000 -0.0053
## 120 0.1123 nan 0.1000 -0.0035
## 140 0.0823 nan 0.1000 -0.0007
## 160 0.0619 nan 0.1000 -0.0011
## 180 0.0464 nan 0.1000 -0.0013
## 200 0.0369 nan 0.1000 -0.0005
## 220 0.0295 nan 0.1000 -0.0006
## 240 0.0229 nan 0.1000 -0.0004
## 260 0.0186 nan 0.1000 -0.0004
## 280 0.0164 nan 0.1000 -0.0004
## 300 0.0140 nan 0.1000 -0.0002
## 320 0.0113 nan 0.1000 -0.0003
## 340 0.0098 nan 0.1000 -0.0001
## 360 0.0082 nan 0.1000 -0.0001
## 380 0.0068 nan 0.1000 -0.0001
## 400 0.0059 nan 0.1000 0.0000
## 420 0.0049 nan 0.1000 0.0000
## 440 0.0044 nan 0.1000 -0.0000
## 460 0.0037 nan 0.1000 -0.0001
## 480 0.0032 nan 0.1000 -0.0001
## 500 0.0028 nan 0.1000 -0.0000
## 520 0.0024 nan 0.1000 -0.0000
## 540 0.0020 nan 0.1000 -0.0000
## 560 0.0018 nan 0.1000 -0.0000
## 580 0.0016 nan 0.1000 -0.0000
## 600 0.0015 nan 0.1000 -0.0000
## 620 0.0014 nan 0.1000 -0.0000
## 640 0.0012 nan 0.1000 0.0000
## 660 0.0010 nan 0.1000 -0.0000
## 680 0.0008 nan 0.1000 -0.0000
## 700 0.0008 nan 0.1000 -0.0000
## 720 0.0007 nan 0.1000 -0.0000
## 740 0.0006 nan 0.1000 -0.0000
## 760 0.0006 nan 0.1000 -0.0000
## 780 0.0005 nan 0.1000 -0.0000
## 800 0.0005 nan 0.1000 -0.0000
## 820 0.0004 nan 0.1000 -0.0000
## 840 0.0003 nan 0.1000 -0.0000
## 860 0.0003 nan 0.1000 -0.0000
## 880 0.0003 nan 0.1000 -0.0000
## 900 0.0003 nan 0.1000 -0.0000
## 920 0.0002 nan 0.1000 -0.0000
## 940 0.0002 nan 0.1000 -0.0000
## 960 0.0002 nan 0.1000 0.0000
## 980 0.0002 nan 0.1000 -0.0000
## 1000 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4605 nan 0.0100 0.0248
## 2 3.4382 nan 0.0100 0.0180
## 3 3.4111 nan 0.0100 0.0276
## 4 3.3903 nan 0.0100 0.0251
## 5 3.3695 nan 0.0100 0.0233
## 6 3.3396 nan 0.0100 0.0252
## 7 3.3153 nan 0.0100 0.0229
## 8 3.2889 nan 0.0100 0.0250
## 9 3.2614 nan 0.0100 0.0241
## 10 3.2389 nan 0.0100 0.0197
## 20 3.0271 nan 0.0100 0.0198
## 40 2.6804 nan 0.0100 0.0157
## 60 2.3985 nan 0.0100 0.0100
## 80 2.1659 nan 0.0100 0.0080
## 100 1.9785 nan 0.0100 0.0065
## 120 1.8220 nan 0.0100 0.0056
## 140 1.6867 nan 0.0100 0.0033
## 160 1.5782 nan 0.0100 0.0039
## 180 1.4791 nan 0.0100 0.0033
## 200 1.4035 nan 0.0100 0.0025
## 220 1.3269 nan 0.0100 0.0031
## 240 1.2683 nan 0.0100 0.0018
## 260 1.2184 nan 0.0100 0.0020
## 280 1.1738 nan 0.0100 0.0002
## 300 1.1329 nan 0.0100 -0.0004
## 320 1.0991 nan 0.0100 0.0003
## 340 1.0690 nan 0.0100 -0.0010
## 360 1.0427 nan 0.0100 -0.0017
## 380 1.0148 nan 0.0100 -0.0019
## 400 0.9906 nan 0.0100 -0.0012
## 420 0.9658 nan 0.0100 0.0002
## 440 0.9451 nan 0.0100 0.0000
## 460 0.9254 nan 0.0100 -0.0006
## 480 0.9062 nan 0.0100 -0.0016
## 500 0.8898 nan 0.0100 0.0004
## 520 0.8758 nan 0.0100 -0.0007
## 540 0.8609 nan 0.0100 -0.0011
## 560 0.8470 nan 0.0100 -0.0018
## 580 0.8326 nan 0.0100 -0.0008
## 600 0.8204 nan 0.0100 -0.0002
## 620 0.8064 nan 0.0100 0.0001
## 640 0.7934 nan 0.0100 -0.0004
## 660 0.7812 nan 0.0100 -0.0015
## 680 0.7690 nan 0.0100 -0.0010
## 700 0.7584 nan 0.0100 -0.0007
## 720 0.7466 nan 0.0100 -0.0001
## 740 0.7355 nan 0.0100 -0.0006
## 760 0.7263 nan 0.0100 -0.0007
## 780 0.7157 nan 0.0100 -0.0008
## 800 0.7073 nan 0.0100 -0.0013
## 820 0.6974 nan 0.0100 -0.0005
## 840 0.6871 nan 0.0100 -0.0006
## 860 0.6784 nan 0.0100 -0.0006
## 880 0.6700 nan 0.0100 -0.0008
## 900 0.6612 nan 0.0100 -0.0010
## 920 0.6530 nan 0.0100 0.0002
## 940 0.6452 nan 0.0100 -0.0007
## 960 0.6371 nan 0.0100 -0.0005
## 980 0.6289 nan 0.0100 0.0000
## 1000 0.6221 nan 0.0100 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4489 nan 0.0100 0.0392
## 2 3.4101 nan 0.0100 0.0244
## 3 3.3797 nan 0.0100 0.0277
## 4 3.3401 nan 0.0100 0.0420
## 5 3.2973 nan 0.0100 0.0380
## 6 3.2641 nan 0.0100 0.0354
## 7 3.2197 nan 0.0100 0.0410
## 8 3.1797 nan 0.0100 0.0333
## 9 3.1448 nan 0.0100 0.0201
## 10 3.1122 nan 0.0100 0.0300
## 20 2.8063 nan 0.0100 0.0259
## 40 2.3241 nan 0.0100 0.0200
## 60 1.9513 nan 0.0100 0.0097
## 80 1.6994 nan 0.0100 0.0097
## 100 1.4823 nan 0.0100 0.0065
## 120 1.3223 nan 0.0100 0.0039
## 140 1.1959 nan 0.0100 0.0039
## 160 1.0895 nan 0.0100 0.0002
## 180 0.9972 nan 0.0100 0.0010
## 200 0.9206 nan 0.0100 0.0010
## 220 0.8575 nan 0.0100 -0.0010
## 240 0.8002 nan 0.0100 -0.0009
## 260 0.7531 nan 0.0100 -0.0018
## 280 0.7144 nan 0.0100 -0.0005
## 300 0.6791 nan 0.0100 -0.0010
## 320 0.6402 nan 0.0100 -0.0007
## 340 0.6106 nan 0.0100 -0.0003
## 360 0.5843 nan 0.0100 0.0002
## 380 0.5566 nan 0.0100 -0.0021
## 400 0.5266 nan 0.0100 0.0004
## 420 0.5005 nan 0.0100 -0.0009
## 440 0.4779 nan 0.0100 -0.0008
## 460 0.4554 nan 0.0100 -0.0008
## 480 0.4331 nan 0.0100 -0.0004
## 500 0.4148 nan 0.0100 -0.0004
## 520 0.3979 nan 0.0100 -0.0007
## 540 0.3809 nan 0.0100 -0.0004
## 560 0.3674 nan 0.0100 -0.0005
## 580 0.3558 nan 0.0100 -0.0008
## 600 0.3401 nan 0.0100 -0.0003
## 620 0.3271 nan 0.0100 -0.0005
## 640 0.3143 nan 0.0100 -0.0006
## 660 0.3030 nan 0.0100 -0.0002
## 680 0.2903 nan 0.0100 -0.0010
## 700 0.2808 nan 0.0100 -0.0004
## 720 0.2705 nan 0.0100 -0.0003
## 740 0.2600 nan 0.0100 0.0001
## 760 0.2495 nan 0.0100 -0.0003
## 780 0.2422 nan 0.0100 -0.0002
## 800 0.2332 nan 0.0100 -0.0004
## 820 0.2247 nan 0.0100 -0.0006
## 840 0.2160 nan 0.0100 -0.0003
## 860 0.2084 nan 0.0100 -0.0002
## 880 0.2018 nan 0.0100 -0.0003
## 900 0.1941 nan 0.0100 0.0001
## 920 0.1874 nan 0.0100 -0.0006
## 940 0.1814 nan 0.0100 -0.0003
## 960 0.1754 nan 0.0100 -0.0003
## 980 0.1693 nan 0.0100 -0.0002
## 1000 0.1637 nan 0.0100 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4539 nan 0.0100 0.0331
## 2 3.4124 nan 0.0100 0.0259
## 3 3.3701 nan 0.0100 0.0263
## 4 3.3342 nan 0.0100 0.0279
## 5 3.3002 nan 0.0100 0.0322
## 6 3.2600 nan 0.0100 0.0363
## 7 3.2305 nan 0.0100 0.0256
## 8 3.1952 nan 0.0100 0.0264
## 9 3.1599 nan 0.0100 0.0319
## 10 3.1267 nan 0.0100 0.0334
## 20 2.7915 nan 0.0100 0.0196
## 40 2.2863 nan 0.0100 0.0132
## 60 1.9339 nan 0.0100 0.0085
## 80 1.6670 nan 0.0100 0.0063
## 100 1.4481 nan 0.0100 0.0058
## 120 1.2670 nan 0.0100 0.0042
## 140 1.1351 nan 0.0100 0.0018
## 160 1.0360 nan 0.0100 0.0027
## 180 0.9364 nan 0.0100 0.0021
## 200 0.8604 nan 0.0100 0.0010
## 220 0.7997 nan 0.0100 0.0002
## 240 0.7401 nan 0.0100 -0.0006
## 260 0.6925 nan 0.0100 -0.0007
## 280 0.6488 nan 0.0100 -0.0011
## 300 0.6094 nan 0.0100 -0.0004
## 320 0.5726 nan 0.0100 -0.0008
## 340 0.5418 nan 0.0100 -0.0007
## 360 0.5104 nan 0.0100 0.0001
## 380 0.4817 nan 0.0100 -0.0003
## 400 0.4595 nan 0.0100 -0.0006
## 420 0.4385 nan 0.0100 0.0000
## 440 0.4171 nan 0.0100 -0.0002
## 460 0.3966 nan 0.0100 -0.0012
## 480 0.3755 nan 0.0100 -0.0014
## 500 0.3563 nan 0.0100 0.0004
## 520 0.3387 nan 0.0100 0.0006
## 540 0.3222 nan 0.0100 -0.0002
## 560 0.3070 nan 0.0100 -0.0009
## 580 0.2933 nan 0.0100 -0.0004
## 600 0.2804 nan 0.0100 -0.0009
## 620 0.2689 nan 0.0100 -0.0003
## 640 0.2576 nan 0.0100 -0.0006
## 660 0.2464 nan 0.0100 0.0001
## 680 0.2366 nan 0.0100 -0.0004
## 700 0.2261 nan 0.0100 -0.0002
## 720 0.2169 nan 0.0100 -0.0005
## 740 0.2081 nan 0.0100 -0.0009
## 760 0.1997 nan 0.0100 -0.0004
## 780 0.1924 nan 0.0100 -0.0001
## 800 0.1847 nan 0.0100 0.0001
## 820 0.1770 nan 0.0100 -0.0003
## 840 0.1703 nan 0.0100 0.0000
## 860 0.1635 nan 0.0100 -0.0004
## 880 0.1570 nan 0.0100 -0.0002
## 900 0.1508 nan 0.0100 -0.0001
## 920 0.1445 nan 0.0100 -0.0003
## 940 0.1383 nan 0.0100 -0.0007
## 960 0.1327 nan 0.0100 -0.0002
## 980 0.1283 nan 0.0100 -0.0002
## 1000 0.1237 nan 0.0100 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4550 nan 0.0100 0.0309
## 2 3.4191 nan 0.0100 0.0391
## 3 3.3728 nan 0.0100 0.0326
## 4 3.3348 nan 0.0100 0.0278
## 5 3.2926 nan 0.0100 0.0303
## 6 3.2564 nan 0.0100 0.0299
## 7 3.2189 nan 0.0100 0.0269
## 8 3.1945 nan 0.0100 0.0242
## 9 3.1624 nan 0.0100 0.0232
## 10 3.1326 nan 0.0100 0.0285
## 20 2.8093 nan 0.0100 0.0256
## 40 2.2952 nan 0.0100 0.0207
## 60 1.9154 nan 0.0100 0.0145
## 80 1.6413 nan 0.0100 0.0081
## 100 1.4332 nan 0.0100 0.0033
## 120 1.2861 nan 0.0100 0.0047
## 140 1.1569 nan 0.0100 0.0010
## 160 1.0506 nan 0.0100 0.0003
## 180 0.9622 nan 0.0100 -0.0004
## 200 0.8830 nan 0.0100 0.0024
## 220 0.8112 nan 0.0100 0.0005
## 240 0.7529 nan 0.0100 0.0001
## 260 0.6997 nan 0.0100 0.0003
## 280 0.6548 nan 0.0100 -0.0005
## 300 0.6132 nan 0.0100 0.0006
## 320 0.5725 nan 0.0100 -0.0005
## 340 0.5362 nan 0.0100 -0.0008
## 360 0.5059 nan 0.0100 -0.0009
## 380 0.4796 nan 0.0100 -0.0011
## 400 0.4571 nan 0.0100 -0.0007
## 420 0.4331 nan 0.0100 -0.0009
## 440 0.4114 nan 0.0100 -0.0003
## 460 0.3952 nan 0.0100 -0.0000
## 480 0.3765 nan 0.0100 -0.0001
## 500 0.3587 nan 0.0100 0.0001
## 520 0.3430 nan 0.0100 -0.0005
## 540 0.3286 nan 0.0100 -0.0004
## 560 0.3125 nan 0.0100 -0.0009
## 580 0.2992 nan 0.0100 -0.0005
## 600 0.2872 nan 0.0100 -0.0007
## 620 0.2733 nan 0.0100 -0.0006
## 640 0.2620 nan 0.0100 -0.0003
## 660 0.2508 nan 0.0100 -0.0004
## 680 0.2399 nan 0.0100 -0.0006
## 700 0.2308 nan 0.0100 -0.0002
## 720 0.2217 nan 0.0100 -0.0001
## 740 0.2131 nan 0.0100 -0.0003
## 760 0.2049 nan 0.0100 -0.0005
## 780 0.1958 nan 0.0100 -0.0001
## 800 0.1875 nan 0.0100 -0.0005
## 820 0.1813 nan 0.0100 -0.0007
## 840 0.1752 nan 0.0100 -0.0003
## 860 0.1695 nan 0.0100 -0.0001
## 880 0.1632 nan 0.0100 -0.0002
## 900 0.1563 nan 0.0100 -0.0002
## 920 0.1509 nan 0.0100 -0.0003
## 940 0.1453 nan 0.0100 -0.0002
## 960 0.1405 nan 0.0100 -0.0002
## 980 0.1358 nan 0.0100 -0.0001
## 1000 0.1307 nan 0.0100 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2335 nan 0.1000 0.2680
## 2 3.0116 nan 0.1000 0.2072
## 3 2.8284 nan 0.1000 0.1598
## 4 2.6431 nan 0.1000 0.1635
## 5 2.5026 nan 0.1000 0.1090
## 6 2.4024 nan 0.1000 0.0955
## 7 2.2781 nan 0.1000 0.0857
## 8 2.1697 nan 0.1000 0.0743
## 9 2.0664 nan 0.1000 0.0898
## 10 1.9797 nan 0.1000 0.0421
## 20 1.4101 nan 0.1000 0.0225
## 40 1.0113 nan 0.1000 0.0036
## 60 0.8494 nan 0.1000 -0.0052
## 80 0.7312 nan 0.1000 -0.0061
## 100 0.6517 nan 0.1000 -0.0069
## 120 0.5689 nan 0.1000 -0.0055
## 140 0.5060 nan 0.1000 -0.0018
## 160 0.4570 nan 0.1000 -0.0073
## 180 0.4249 nan 0.1000 -0.0061
## 200 0.3923 nan 0.1000 -0.0050
## 220 0.3623 nan 0.1000 -0.0026
## 240 0.3310 nan 0.1000 -0.0041
## 260 0.3091 nan 0.1000 -0.0042
## 280 0.2879 nan 0.1000 -0.0010
## 300 0.2685 nan 0.1000 -0.0015
## 320 0.2467 nan 0.1000 -0.0054
## 340 0.2291 nan 0.1000 -0.0033
## 360 0.2116 nan 0.1000 -0.0011
## 380 0.1977 nan 0.1000 -0.0019
## 400 0.1831 nan 0.1000 -0.0012
## 420 0.1707 nan 0.1000 -0.0021
## 440 0.1603 nan 0.1000 -0.0019
## 460 0.1525 nan 0.1000 -0.0018
## 480 0.1454 nan 0.1000 -0.0029
## 500 0.1378 nan 0.1000 -0.0048
## 520 0.1301 nan 0.1000 -0.0015
## 540 0.1219 nan 0.1000 -0.0020
## 560 0.1130 nan 0.1000 -0.0017
## 580 0.1083 nan 0.1000 -0.0023
## 600 0.1023 nan 0.1000 -0.0006
## 620 0.0956 nan 0.1000 -0.0021
## 640 0.0908 nan 0.1000 -0.0023
## 660 0.0876 nan 0.1000 -0.0014
## 680 0.0812 nan 0.1000 -0.0007
## 700 0.0765 nan 0.1000 -0.0008
## 720 0.0736 nan 0.1000 -0.0007
## 740 0.0693 nan 0.1000 -0.0007
## 760 0.0657 nan 0.1000 -0.0009
## 780 0.0632 nan 0.1000 -0.0012
## 800 0.0596 nan 0.1000 -0.0012
## 820 0.0562 nan 0.1000 -0.0006
## 840 0.0537 nan 0.1000 -0.0009
## 860 0.0504 nan 0.1000 -0.0008
## 880 0.0485 nan 0.1000 -0.0006
## 900 0.0464 nan 0.1000 -0.0003
## 920 0.0445 nan 0.1000 -0.0002
## 940 0.0431 nan 0.1000 -0.0010
## 960 0.0412 nan 0.1000 -0.0005
## 980 0.0394 nan 0.1000 -0.0004
## 1000 0.0378 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1140 nan 0.1000 0.2789
## 2 2.8112 nan 0.1000 0.2536
## 3 2.5753 nan 0.1000 0.2169
## 4 2.3728 nan 0.1000 0.1472
## 5 2.1502 nan 0.1000 0.0986
## 6 1.9419 nan 0.1000 0.1330
## 7 1.8113 nan 0.1000 0.0807
## 8 1.6586 nan 0.1000 0.0889
## 9 1.5487 nan 0.1000 0.0758
## 10 1.4486 nan 0.1000 0.0640
## 20 0.9511 nan 0.1000 0.0158
## 40 0.5199 nan 0.1000 -0.0000
## 60 0.3438 nan 0.1000 -0.0066
## 80 0.2504 nan 0.1000 -0.0042
## 100 0.1709 nan 0.1000 -0.0013
## 120 0.1235 nan 0.1000 -0.0025
## 140 0.0937 nan 0.1000 -0.0048
## 160 0.0735 nan 0.1000 -0.0019
## 180 0.0591 nan 0.1000 -0.0017
## 200 0.0460 nan 0.1000 -0.0013
## 220 0.0376 nan 0.1000 -0.0009
## 240 0.0291 nan 0.1000 -0.0008
## 260 0.0235 nan 0.1000 -0.0004
## 280 0.0183 nan 0.1000 -0.0005
## 300 0.0140 nan 0.1000 -0.0004
## 320 0.0115 nan 0.1000 -0.0001
## 340 0.0093 nan 0.1000 -0.0001
## 360 0.0074 nan 0.1000 -0.0002
## 380 0.0061 nan 0.1000 -0.0002
## 400 0.0051 nan 0.1000 -0.0001
## 420 0.0040 nan 0.1000 -0.0001
## 440 0.0032 nan 0.1000 -0.0001
## 460 0.0025 nan 0.1000 -0.0001
## 480 0.0021 nan 0.1000 -0.0001
## 500 0.0018 nan 0.1000 -0.0000
## 520 0.0015 nan 0.1000 -0.0000
## 540 0.0013 nan 0.1000 -0.0000
## 560 0.0011 nan 0.1000 -0.0000
## 580 0.0008 nan 0.1000 -0.0000
## 600 0.0007 nan 0.1000 -0.0000
## 620 0.0006 nan 0.1000 -0.0000
## 640 0.0005 nan 0.1000 -0.0000
## 660 0.0004 nan 0.1000 -0.0000
## 680 0.0003 nan 0.1000 -0.0000
## 700 0.0003 nan 0.1000 -0.0000
## 720 0.0003 nan 0.1000 -0.0000
## 740 0.0002 nan 0.1000 -0.0000
## 760 0.0002 nan 0.1000 -0.0000
## 780 0.0001 nan 0.1000 -0.0000
## 800 0.0001 nan 0.1000 -0.0000
## 820 0.0001 nan 0.1000 -0.0000
## 840 0.0001 nan 0.1000 -0.0000
## 860 0.0001 nan 0.1000 -0.0000
## 880 0.0001 nan 0.1000 -0.0000
## 900 0.0001 nan 0.1000 -0.0000
## 920 0.0000 nan 0.1000 -0.0000
## 940 0.0000 nan 0.1000 -0.0000
## 960 0.0000 nan 0.1000 -0.0000
## 980 0.0000 nan 0.1000 -0.0000
## 1000 0.0000 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1300 nan 0.1000 0.3166
## 2 2.7789 nan 0.1000 0.2923
## 3 2.5387 nan 0.1000 0.1914
## 4 2.3094 nan 0.1000 0.2222
## 5 2.0840 nan 0.1000 0.2045
## 6 1.9096 nan 0.1000 0.1138
## 7 1.7469 nan 0.1000 0.1277
## 8 1.6049 nan 0.1000 0.0757
## 9 1.4960 nan 0.1000 0.1002
## 10 1.4119 nan 0.1000 0.0483
## 20 0.8813 nan 0.1000 0.0293
## 40 0.4944 nan 0.1000 -0.0023
## 60 0.3177 nan 0.1000 -0.0082
## 80 0.2024 nan 0.1000 -0.0029
## 100 0.1383 nan 0.1000 -0.0019
## 120 0.0991 nan 0.1000 -0.0029
## 140 0.0737 nan 0.1000 -0.0025
## 160 0.0535 nan 0.1000 0.0002
## 180 0.0403 nan 0.1000 -0.0006
## 200 0.0321 nan 0.1000 -0.0009
## 220 0.0251 nan 0.1000 -0.0001
## 240 0.0197 nan 0.1000 -0.0004
## 260 0.0158 nan 0.1000 -0.0004
## 280 0.0117 nan 0.1000 0.0000
## 300 0.0094 nan 0.1000 -0.0002
## 320 0.0072 nan 0.1000 -0.0000
## 340 0.0059 nan 0.1000 -0.0000
## 360 0.0048 nan 0.1000 -0.0001
## 380 0.0041 nan 0.1000 0.0000
## 400 0.0036 nan 0.1000 -0.0001
## 420 0.0031 nan 0.1000 -0.0001
## 440 0.0027 nan 0.1000 -0.0000
## 460 0.0023 nan 0.1000 0.0000
## 480 0.0021 nan 0.1000 -0.0001
## 500 0.0019 nan 0.1000 -0.0000
## 520 0.0018 nan 0.1000 -0.0000
## 540 0.0016 nan 0.1000 -0.0000
## 560 0.0014 nan 0.1000 -0.0000
## 580 0.0013 nan 0.1000 -0.0000
## 600 0.0012 nan 0.1000 -0.0000
## 620 0.0010 nan 0.1000 -0.0000
## 640 0.0009 nan 0.1000 -0.0000
## 660 0.0008 nan 0.1000 -0.0000
## 680 0.0007 nan 0.1000 -0.0000
## 700 0.0006 nan 0.1000 -0.0000
## 720 0.0005 nan 0.1000 -0.0000
## 740 0.0004 nan 0.1000 -0.0000
## 760 0.0004 nan 0.1000 -0.0000
## 780 0.0004 nan 0.1000 -0.0000
## 800 0.0003 nan 0.1000 -0.0000
## 820 0.0003 nan 0.1000 -0.0000
## 840 0.0002 nan 0.1000 -0.0000
## 860 0.0002 nan 0.1000 -0.0000
## 880 0.0002 nan 0.1000 -0.0000
## 900 0.0002 nan 0.1000 -0.0000
## 920 0.0002 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1160 nan 0.1000 0.2936
## 2 2.8263 nan 0.1000 0.2736
## 3 2.5723 nan 0.1000 0.2127
## 4 2.2918 nan 0.1000 0.2219
## 5 2.0780 nan 0.1000 0.1586
## 6 1.9259 nan 0.1000 0.0879
## 7 1.7822 nan 0.1000 0.1022
## 8 1.6473 nan 0.1000 0.0539
## 9 1.5198 nan 0.1000 0.0403
## 10 1.4333 nan 0.1000 0.0734
## 20 0.9000 nan 0.1000 -0.0005
## 40 0.4572 nan 0.1000 -0.0077
## 60 0.2894 nan 0.1000 0.0000
## 80 0.2022 nan 0.1000 -0.0016
## 100 0.1353 nan 0.1000 -0.0009
## 120 0.0930 nan 0.1000 -0.0036
## 140 0.0692 nan 0.1000 -0.0024
## 160 0.0496 nan 0.1000 -0.0013
## 180 0.0390 nan 0.1000 -0.0009
## 200 0.0303 nan 0.1000 -0.0005
## 220 0.0228 nan 0.1000 -0.0005
## 240 0.0181 nan 0.1000 -0.0003
## 260 0.0137 nan 0.1000 -0.0001
## 280 0.0122 nan 0.1000 -0.0001
## 300 0.0104 nan 0.1000 -0.0003
## 320 0.0087 nan 0.1000 -0.0001
## 340 0.0071 nan 0.1000 -0.0002
## 360 0.0060 nan 0.1000 -0.0001
## 380 0.0051 nan 0.1000 -0.0001
## 400 0.0044 nan 0.1000 -0.0001
## 420 0.0037 nan 0.1000 -0.0000
## 440 0.0031 nan 0.1000 -0.0001
## 460 0.0028 nan 0.1000 -0.0001
## 480 0.0024 nan 0.1000 -0.0000
## 500 0.0021 nan 0.1000 -0.0000
## 520 0.0018 nan 0.1000 -0.0000
## 540 0.0015 nan 0.1000 -0.0000
## 560 0.0014 nan 0.1000 -0.0000
## 580 0.0012 nan 0.1000 -0.0000
## 600 0.0011 nan 0.1000 -0.0000
## 620 0.0010 nan 0.1000 -0.0000
## 640 0.0009 nan 0.1000 -0.0000
## 660 0.0007 nan 0.1000 -0.0000
## 680 0.0006 nan 0.1000 -0.0000
## 700 0.0005 nan 0.1000 -0.0000
## 720 0.0005 nan 0.1000 -0.0000
## 740 0.0004 nan 0.1000 -0.0000
## 760 0.0003 nan 0.1000 -0.0000
## 780 0.0003 nan 0.1000 -0.0000
## 800 0.0003 nan 0.1000 0.0000
## 820 0.0002 nan 0.1000 -0.0000
## 840 0.0002 nan 0.1000 0.0000
## 860 0.0002 nan 0.1000 -0.0000
## 880 0.0002 nan 0.1000 -0.0000
## 900 0.0001 nan 0.1000 -0.0000
## 920 0.0001 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2306 nan 0.0100 0.0242
## 2 3.2041 nan 0.0100 0.0278
## 3 3.1780 nan 0.0100 0.0278
## 4 3.1504 nan 0.0100 0.0291
## 5 3.1234 nan 0.0100 0.0265
## 6 3.0945 nan 0.0100 0.0255
## 7 3.0664 nan 0.0100 0.0239
## 8 3.0424 nan 0.0100 0.0249
## 9 3.0173 nan 0.0100 0.0238
## 10 2.9901 nan 0.0100 0.0245
## 20 2.7617 nan 0.0100 0.0129
## 40 2.4241 nan 0.0100 0.0112
## 60 2.1619 nan 0.0100 0.0104
## 80 1.9660 nan 0.0100 0.0031
## 100 1.8046 nan 0.0100 0.0045
## 120 1.6710 nan 0.0100 0.0052
## 140 1.5562 nan 0.0100 0.0048
## 160 1.4610 nan 0.0100 0.0030
## 180 1.3811 nan 0.0100 0.0017
## 200 1.3169 nan 0.0100 0.0008
## 220 1.2561 nan 0.0100 -0.0000
## 240 1.2075 nan 0.0100 -0.0010
## 260 1.1630 nan 0.0100 0.0002
## 280 1.1247 nan 0.0100 -0.0008
## 300 1.0926 nan 0.0100 -0.0007
## 320 1.0624 nan 0.0100 -0.0014
## 340 1.0318 nan 0.0100 -0.0006
## 360 1.0070 nan 0.0100 -0.0010
## 380 0.9842 nan 0.0100 0.0003
## 400 0.9621 nan 0.0100 -0.0006
## 420 0.9436 nan 0.0100 -0.0010
## 440 0.9310 nan 0.0100 -0.0005
## 460 0.9129 nan 0.0100 0.0003
## 480 0.8957 nan 0.0100 -0.0003
## 500 0.8789 nan 0.0100 -0.0010
## 520 0.8640 nan 0.0100 -0.0004
## 540 0.8490 nan 0.0100 -0.0003
## 560 0.8335 nan 0.0100 -0.0004
## 580 0.8196 nan 0.0100 -0.0004
## 600 0.8072 nan 0.0100 -0.0002
## 620 0.7956 nan 0.0100 -0.0007
## 640 0.7840 nan 0.0100 -0.0007
## 660 0.7732 nan 0.0100 -0.0012
## 680 0.7606 nan 0.0100 -0.0001
## 700 0.7501 nan 0.0100 -0.0018
## 720 0.7398 nan 0.0100 -0.0008
## 740 0.7287 nan 0.0100 -0.0001
## 760 0.7194 nan 0.0100 -0.0008
## 780 0.7096 nan 0.0100 -0.0006
## 800 0.6995 nan 0.0100 -0.0007
## 820 0.6897 nan 0.0100 -0.0015
## 840 0.6801 nan 0.0100 -0.0006
## 860 0.6706 nan 0.0100 -0.0002
## 880 0.6632 nan 0.0100 -0.0002
## 900 0.6533 nan 0.0100 -0.0004
## 920 0.6448 nan 0.0100 -0.0012
## 940 0.6376 nan 0.0100 -0.0005
## 960 0.6282 nan 0.0100 -0.0004
## 980 0.6201 nan 0.0100 -0.0009
## 1000 0.6126 nan 0.0100 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2213 nan 0.0100 0.0382
## 2 3.1846 nan 0.0100 0.0304
## 3 3.1401 nan 0.0100 0.0407
## 4 3.1028 nan 0.0100 0.0334
## 5 3.0698 nan 0.0100 0.0302
## 6 3.0356 nan 0.0100 0.0267
## 7 2.9981 nan 0.0100 0.0248
## 8 2.9649 nan 0.0100 0.0334
## 9 2.9311 nan 0.0100 0.0254
## 10 2.8996 nan 0.0100 0.0250
## 20 2.6208 nan 0.0100 0.0177
## 40 2.1674 nan 0.0100 0.0151
## 60 1.8277 nan 0.0100 0.0121
## 80 1.5821 nan 0.0100 0.0062
## 100 1.3994 nan 0.0100 0.0039
## 120 1.2544 nan 0.0100 0.0039
## 140 1.1386 nan 0.0100 0.0012
## 160 1.0394 nan 0.0100 0.0016
## 180 0.9637 nan 0.0100 0.0010
## 200 0.8980 nan 0.0100 -0.0011
## 220 0.8420 nan 0.0100 0.0015
## 240 0.7940 nan 0.0100 -0.0010
## 260 0.7489 nan 0.0100 -0.0021
## 280 0.7069 nan 0.0100 -0.0016
## 300 0.6680 nan 0.0100 0.0000
## 320 0.6325 nan 0.0100 -0.0008
## 340 0.6014 nan 0.0100 -0.0003
## 360 0.5670 nan 0.0100 -0.0006
## 380 0.5412 nan 0.0100 0.0012
## 400 0.5166 nan 0.0100 -0.0006
## 420 0.4895 nan 0.0100 0.0004
## 440 0.4692 nan 0.0100 -0.0003
## 460 0.4438 nan 0.0100 0.0002
## 480 0.4272 nan 0.0100 -0.0006
## 500 0.4090 nan 0.0100 -0.0003
## 520 0.3900 nan 0.0100 -0.0007
## 540 0.3736 nan 0.0100 -0.0003
## 560 0.3575 nan 0.0100 -0.0001
## 580 0.3430 nan 0.0100 -0.0007
## 600 0.3306 nan 0.0100 -0.0007
## 620 0.3183 nan 0.0100 -0.0002
## 640 0.3068 nan 0.0100 -0.0006
## 660 0.2966 nan 0.0100 -0.0015
## 680 0.2847 nan 0.0100 -0.0005
## 700 0.2742 nan 0.0100 -0.0006
## 720 0.2636 nan 0.0100 -0.0011
## 740 0.2539 nan 0.0100 -0.0008
## 760 0.2446 nan 0.0100 -0.0007
## 780 0.2366 nan 0.0100 -0.0001
## 800 0.2279 nan 0.0100 -0.0005
## 820 0.2185 nan 0.0100 -0.0006
## 840 0.2115 nan 0.0100 -0.0004
## 860 0.2050 nan 0.0100 -0.0005
## 880 0.1986 nan 0.0100 -0.0005
## 900 0.1913 nan 0.0100 -0.0000
## 920 0.1847 nan 0.0100 -0.0006
## 940 0.1788 nan 0.0100 -0.0005
## 960 0.1725 nan 0.0100 -0.0002
## 980 0.1672 nan 0.0100 -0.0002
## 1000 0.1619 nan 0.0100 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2210 nan 0.0100 0.0336
## 2 3.1791 nan 0.0100 0.0371
## 3 3.1383 nan 0.0100 0.0333
## 4 3.1093 nan 0.0100 0.0199
## 5 3.0775 nan 0.0100 0.0346
## 6 3.0399 nan 0.0100 0.0343
## 7 3.0075 nan 0.0100 0.0228
## 8 2.9722 nan 0.0100 0.0293
## 9 2.9437 nan 0.0100 0.0260
## 10 2.9118 nan 0.0100 0.0258
## 20 2.6145 nan 0.0100 0.0244
## 40 2.1353 nan 0.0100 0.0142
## 60 1.7733 nan 0.0100 0.0128
## 80 1.5380 nan 0.0100 0.0070
## 100 1.3445 nan 0.0100 0.0063
## 120 1.1908 nan 0.0100 0.0061
## 140 1.0661 nan 0.0100 -0.0002
## 160 0.9703 nan 0.0100 0.0015
## 180 0.8910 nan 0.0100 0.0006
## 200 0.8185 nan 0.0100 0.0015
## 220 0.7622 nan 0.0100 0.0003
## 240 0.7082 nan 0.0100 -0.0027
## 260 0.6599 nan 0.0100 0.0016
## 280 0.6218 nan 0.0100 -0.0012
## 300 0.5844 nan 0.0100 -0.0019
## 320 0.5522 nan 0.0100 -0.0003
## 340 0.5227 nan 0.0100 -0.0004
## 360 0.4948 nan 0.0100 -0.0012
## 380 0.4679 nan 0.0100 0.0003
## 400 0.4424 nan 0.0100 -0.0003
## 420 0.4210 nan 0.0100 -0.0004
## 440 0.4028 nan 0.0100 -0.0003
## 460 0.3821 nan 0.0100 0.0001
## 480 0.3644 nan 0.0100 -0.0004
## 500 0.3478 nan 0.0100 -0.0006
## 520 0.3332 nan 0.0100 -0.0008
## 540 0.3180 nan 0.0100 -0.0010
## 560 0.3029 nan 0.0100 -0.0008
## 580 0.2908 nan 0.0100 -0.0007
## 600 0.2773 nan 0.0100 -0.0001
## 620 0.2646 nan 0.0100 -0.0006
## 640 0.2535 nan 0.0100 -0.0009
## 660 0.2427 nan 0.0100 -0.0004
## 680 0.2313 nan 0.0100 -0.0005
## 700 0.2218 nan 0.0100 -0.0000
## 720 0.2139 nan 0.0100 -0.0003
## 740 0.2054 nan 0.0100 -0.0002
## 760 0.1975 nan 0.0100 -0.0003
## 780 0.1904 nan 0.0100 -0.0002
## 800 0.1830 nan 0.0100 -0.0005
## 820 0.1766 nan 0.0100 -0.0002
## 840 0.1692 nan 0.0100 -0.0003
## 860 0.1629 nan 0.0100 -0.0003
## 880 0.1572 nan 0.0100 -0.0003
## 900 0.1510 nan 0.0100 -0.0004
## 920 0.1451 nan 0.0100 -0.0003
## 940 0.1401 nan 0.0100 -0.0004
## 960 0.1358 nan 0.0100 -0.0002
## 980 0.1304 nan 0.0100 -0.0001
## 1000 0.1256 nan 0.0100 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2128 nan 0.0100 0.0406
## 2 3.1739 nan 0.0100 0.0328
## 3 3.1403 nan 0.0100 0.0344
## 4 3.1020 nan 0.0100 0.0288
## 5 3.0676 nan 0.0100 0.0304
## 6 3.0316 nan 0.0100 0.0318
## 7 3.0016 nan 0.0100 0.0272
## 8 2.9677 nan 0.0100 0.0299
## 9 2.9430 nan 0.0100 0.0265
## 10 2.9135 nan 0.0100 0.0168
## 20 2.6164 nan 0.0100 0.0194
## 40 2.1361 nan 0.0100 0.0126
## 60 1.7909 nan 0.0100 0.0114
## 80 1.5407 nan 0.0100 0.0095
## 100 1.3384 nan 0.0100 0.0042
## 120 1.1793 nan 0.0100 0.0052
## 140 1.0618 nan 0.0100 0.0012
## 160 0.9653 nan 0.0100 0.0012
## 180 0.8770 nan 0.0100 0.0015
## 200 0.8007 nan 0.0100 -0.0007
## 220 0.7459 nan 0.0100 0.0014
## 240 0.6947 nan 0.0100 -0.0005
## 260 0.6501 nan 0.0100 -0.0013
## 280 0.6063 nan 0.0100 -0.0007
## 300 0.5716 nan 0.0100 -0.0001
## 320 0.5386 nan 0.0100 -0.0009
## 340 0.5071 nan 0.0100 0.0001
## 360 0.4782 nan 0.0100 -0.0001
## 380 0.4516 nan 0.0100 -0.0002
## 400 0.4237 nan 0.0100 0.0004
## 420 0.4037 nan 0.0100 -0.0003
## 440 0.3834 nan 0.0100 -0.0001
## 460 0.3664 nan 0.0100 -0.0010
## 480 0.3489 nan 0.0100 -0.0006
## 500 0.3351 nan 0.0100 -0.0004
## 520 0.3208 nan 0.0100 -0.0010
## 540 0.3049 nan 0.0100 -0.0002
## 560 0.2922 nan 0.0100 -0.0004
## 580 0.2805 nan 0.0100 -0.0003
## 600 0.2665 nan 0.0100 -0.0014
## 620 0.2566 nan 0.0100 -0.0001
## 640 0.2428 nan 0.0100 -0.0003
## 660 0.2317 nan 0.0100 -0.0007
## 680 0.2223 nan 0.0100 -0.0002
## 700 0.2101 nan 0.0100 -0.0002
## 720 0.2016 nan 0.0100 -0.0007
## 740 0.1919 nan 0.0100 -0.0003
## 760 0.1847 nan 0.0100 0.0001
## 780 0.1768 nan 0.0100 -0.0005
## 800 0.1696 nan 0.0100 -0.0002
## 820 0.1624 nan 0.0100 -0.0003
## 840 0.1557 nan 0.0100 -0.0004
## 860 0.1501 nan 0.0100 -0.0003
## 880 0.1442 nan 0.0100 -0.0002
## 900 0.1397 nan 0.0100 -0.0004
## 920 0.1337 nan 0.0100 -0.0003
## 940 0.1289 nan 0.0100 -0.0003
## 960 0.1247 nan 0.0100 -0.0002
## 980 0.1206 nan 0.0100 -0.0002
## 1000 0.1168 nan 0.0100 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.0238 nan 0.1000 0.1882
## 2 2.7686 nan 0.1000 0.2188
## 3 2.5155 nan 0.1000 0.1829
## 4 2.3354 nan 0.1000 0.1329
## 5 2.2173 nan 0.1000 0.1230
## 6 2.1343 nan 0.1000 0.0564
## 7 2.0346 nan 0.1000 0.0423
## 8 1.9784 nan 0.1000 0.0073
## 9 1.8621 nan 0.1000 0.0847
## 10 1.7817 nan 0.1000 0.0680
## 20 1.3059 nan 0.1000 -0.0298
## 40 0.9666 nan 0.1000 -0.0042
## 60 0.8033 nan 0.1000 -0.0056
## 80 0.6963 nan 0.1000 -0.0125
## 100 0.6155 nan 0.1000 -0.0050
## 120 0.5471 nan 0.1000 -0.0155
## 140 0.5020 nan 0.1000 -0.0069
## 160 0.4581 nan 0.1000 -0.0138
## 180 0.4130 nan 0.1000 -0.0033
## 200 0.3770 nan 0.1000 -0.0052
## 220 0.3494 nan 0.1000 -0.0035
## 240 0.3154 nan 0.1000 -0.0025
## 260 0.2908 nan 0.1000 -0.0037
## 280 0.2660 nan 0.1000 -0.0050
## 300 0.2512 nan 0.1000 -0.0029
## 320 0.2293 nan 0.1000 -0.0032
## 340 0.2106 nan 0.1000 -0.0015
## 360 0.1951 nan 0.1000 -0.0004
## 380 0.1835 nan 0.1000 -0.0035
## 400 0.1701 nan 0.1000 -0.0031
## 420 0.1610 nan 0.1000 -0.0018
## 440 0.1502 nan 0.1000 -0.0021
## 460 0.1395 nan 0.1000 -0.0026
## 480 0.1304 nan 0.1000 -0.0012
## 500 0.1223 nan 0.1000 -0.0026
## 520 0.1123 nan 0.1000 -0.0006
## 540 0.1049 nan 0.1000 -0.0018
## 560 0.0990 nan 0.1000 -0.0011
## 580 0.0931 nan 0.1000 -0.0016
## 600 0.0868 nan 0.1000 -0.0006
## 620 0.0808 nan 0.1000 -0.0010
## 640 0.0773 nan 0.1000 -0.0012
## 660 0.0741 nan 0.1000 -0.0003
## 680 0.0699 nan 0.1000 -0.0005
## 700 0.0659 nan 0.1000 -0.0008
## 720 0.0627 nan 0.1000 -0.0005
## 740 0.0593 nan 0.1000 -0.0004
## 760 0.0559 nan 0.1000 -0.0007
## 780 0.0533 nan 0.1000 -0.0002
## 800 0.0505 nan 0.1000 -0.0003
## 820 0.0475 nan 0.1000 -0.0007
## 840 0.0457 nan 0.1000 -0.0007
## 860 0.0434 nan 0.1000 -0.0005
## 880 0.0414 nan 0.1000 -0.0011
## 900 0.0393 nan 0.1000 -0.0006
## 920 0.0375 nan 0.1000 -0.0004
## 940 0.0364 nan 0.1000 -0.0003
## 960 0.0347 nan 0.1000 -0.0005
## 980 0.0333 nan 0.1000 -0.0003
## 1000 0.0319 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 2.8686 nan 0.1000 0.3747
## 2 2.5810 nan 0.1000 0.1490
## 3 2.3059 nan 0.1000 0.1771
## 4 2.0908 nan 0.1000 0.1658
## 5 1.9387 nan 0.1000 0.1608
## 6 1.7713 nan 0.1000 0.0700
## 7 1.6478 nan 0.1000 0.0665
## 8 1.5579 nan 0.1000 0.0732
## 9 1.4330 nan 0.1000 0.0645
## 10 1.3653 nan 0.1000 0.0029
## 20 0.9608 nan 0.1000 -0.0005
## 40 0.5859 nan 0.1000 -0.0015
## 60 0.3826 nan 0.1000 -0.0111
## 80 0.2713 nan 0.1000 -0.0053
## 100 0.1804 nan 0.1000 -0.0027
## 120 0.1315 nan 0.1000 -0.0011
## 140 0.0944 nan 0.1000 -0.0024
## 160 0.0704 nan 0.1000 -0.0011
## 180 0.0571 nan 0.1000 -0.0010
## 200 0.0454 nan 0.1000 -0.0009
## 220 0.0356 nan 0.1000 -0.0008
## 240 0.0261 nan 0.1000 -0.0005
## 260 0.0216 nan 0.1000 -0.0004
## 280 0.0169 nan 0.1000 -0.0002
## 300 0.0141 nan 0.1000 -0.0004
## 320 0.0120 nan 0.1000 -0.0004
## 340 0.0102 nan 0.1000 -0.0003
## 360 0.0084 nan 0.1000 -0.0002
## 380 0.0069 nan 0.1000 -0.0001
## 400 0.0059 nan 0.1000 -0.0001
## 420 0.0051 nan 0.1000 -0.0001
## 440 0.0044 nan 0.1000 -0.0001
## 460 0.0039 nan 0.1000 -0.0000
## 480 0.0035 nan 0.1000 -0.0000
## 500 0.0030 nan 0.1000 -0.0001
## 520 0.0025 nan 0.1000 -0.0001
## 540 0.0021 nan 0.1000 -0.0000
## 560 0.0018 nan 0.1000 -0.0000
## 580 0.0015 nan 0.1000 -0.0000
## 600 0.0013 nan 0.1000 -0.0000
## 620 0.0011 nan 0.1000 -0.0000
## 640 0.0010 nan 0.1000 -0.0000
## 660 0.0009 nan 0.1000 -0.0000
## 680 0.0008 nan 0.1000 -0.0000
## 700 0.0007 nan 0.1000 -0.0000
## 720 0.0006 nan 0.1000 -0.0000
## 740 0.0006 nan 0.1000 -0.0000
## 760 0.0005 nan 0.1000 -0.0000
## 780 0.0004 nan 0.1000 -0.0000
## 800 0.0004 nan 0.1000 -0.0000
## 820 0.0004 nan 0.1000 -0.0000
## 840 0.0003 nan 0.1000 -0.0000
## 860 0.0003 nan 0.1000 -0.0000
## 880 0.0002 nan 0.1000 -0.0000
## 900 0.0002 nan 0.1000 -0.0000
## 920 0.0002 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 2.9119 nan 0.1000 0.2581
## 2 2.6148 nan 0.1000 0.2474
## 3 2.3116 nan 0.1000 0.2247
## 4 2.0689 nan 0.1000 0.2144
## 5 1.8842 nan 0.1000 0.1528
## 6 1.7323 nan 0.1000 0.1296
## 7 1.5816 nan 0.1000 0.0932
## 8 1.4765 nan 0.1000 0.0757
## 9 1.3958 nan 0.1000 0.0350
## 10 1.3061 nan 0.1000 0.0801
## 20 0.8220 nan 0.1000 0.0040
## 40 0.4789 nan 0.1000 0.0015
## 60 0.2919 nan 0.1000 -0.0006
## 80 0.2035 nan 0.1000 -0.0037
## 100 0.1414 nan 0.1000 -0.0004
## 120 0.1005 nan 0.1000 -0.0039
## 140 0.0739 nan 0.1000 -0.0016
## 160 0.0589 nan 0.1000 -0.0012
## 180 0.0452 nan 0.1000 -0.0006
## 200 0.0358 nan 0.1000 -0.0007
## 220 0.0287 nan 0.1000 -0.0009
## 240 0.0248 nan 0.1000 -0.0008
## 260 0.0194 nan 0.1000 -0.0005
## 280 0.0163 nan 0.1000 0.0000
## 300 0.0133 nan 0.1000 -0.0002
## 320 0.0104 nan 0.1000 -0.0001
## 340 0.0088 nan 0.1000 -0.0001
## 360 0.0078 nan 0.1000 -0.0002
## 380 0.0066 nan 0.1000 -0.0001
## 400 0.0057 nan 0.1000 -0.0001
## 420 0.0049 nan 0.1000 -0.0001
## 440 0.0040 nan 0.1000 -0.0000
## 460 0.0035 nan 0.1000 -0.0001
## 480 0.0032 nan 0.1000 -0.0001
## 500 0.0028 nan 0.1000 -0.0000
## 520 0.0025 nan 0.1000 -0.0000
## 540 0.0024 nan 0.1000 -0.0000
## 560 0.0020 nan 0.1000 -0.0000
## 580 0.0018 nan 0.1000 -0.0000
## 600 0.0017 nan 0.1000 -0.0000
## 620 0.0014 nan 0.1000 -0.0000
## 640 0.0013 nan 0.1000 -0.0000
## 660 0.0012 nan 0.1000 -0.0000
## 680 0.0010 nan 0.1000 -0.0000
## 700 0.0009 nan 0.1000 -0.0000
## 720 0.0008 nan 0.1000 -0.0000
## 740 0.0007 nan 0.1000 -0.0000
## 760 0.0006 nan 0.1000 -0.0000
## 780 0.0006 nan 0.1000 -0.0000
## 800 0.0005 nan 0.1000 -0.0000
## 820 0.0005 nan 0.1000 -0.0000
## 840 0.0004 nan 0.1000 -0.0000
## 860 0.0004 nan 0.1000 -0.0000
## 880 0.0003 nan 0.1000 -0.0000
## 900 0.0003 nan 0.1000 -0.0000
## 920 0.0003 nan 0.1000 -0.0000
## 940 0.0002 nan 0.1000 0.0000
## 960 0.0002 nan 0.1000 -0.0000
## 980 0.0002 nan 0.1000 -0.0000
## 1000 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 2.9133 nan 0.1000 0.1976
## 2 2.5976 nan 0.1000 0.3178
## 3 2.3206 nan 0.1000 0.2364
## 4 2.0766 nan 0.1000 0.1469
## 5 1.9304 nan 0.1000 0.0466
## 6 1.7434 nan 0.1000 0.1327
## 7 1.6459 nan 0.1000 0.0188
## 8 1.5375 nan 0.1000 0.0382
## 9 1.4374 nan 0.1000 0.0490
## 10 1.3629 nan 0.1000 0.0266
## 20 0.8862 nan 0.1000 0.0149
## 40 0.4781 nan 0.1000 -0.0091
## 60 0.3022 nan 0.1000 -0.0102
## 80 0.2007 nan 0.1000 -0.0053
## 100 0.1308 nan 0.1000 -0.0014
## 120 0.0941 nan 0.1000 -0.0009
## 140 0.0663 nan 0.1000 -0.0012
## 160 0.0485 nan 0.1000 -0.0016
## 180 0.0364 nan 0.1000 -0.0006
## 200 0.0282 nan 0.1000 -0.0003
## 220 0.0204 nan 0.1000 -0.0004
## 240 0.0153 nan 0.1000 -0.0004
## 260 0.0120 nan 0.1000 -0.0002
## 280 0.0097 nan 0.1000 -0.0002
## 300 0.0076 nan 0.1000 -0.0002
## 320 0.0059 nan 0.1000 -0.0002
## 340 0.0049 nan 0.1000 -0.0001
## 360 0.0040 nan 0.1000 -0.0002
## 380 0.0032 nan 0.1000 -0.0000
## 400 0.0028 nan 0.1000 -0.0001
## 420 0.0024 nan 0.1000 -0.0000
## 440 0.0020 nan 0.1000 0.0000
## 460 0.0017 nan 0.1000 -0.0000
## 480 0.0015 nan 0.1000 -0.0001
## 500 0.0012 nan 0.1000 -0.0000
## 520 0.0011 nan 0.1000 -0.0000
## 540 0.0010 nan 0.1000 -0.0000
## 560 0.0009 nan 0.1000 -0.0000
## 580 0.0008 nan 0.1000 -0.0000
## 600 0.0006 nan 0.1000 -0.0000
## 620 0.0006 nan 0.1000 -0.0000
## 640 0.0005 nan 0.1000 -0.0000
## 660 0.0004 nan 0.1000 -0.0000
## 680 0.0004 nan 0.1000 -0.0000
## 700 0.0004 nan 0.1000 -0.0000
## 720 0.0003 nan 0.1000 -0.0000
## 740 0.0003 nan 0.1000 -0.0000
## 760 0.0003 nan 0.1000 -0.0000
## 780 0.0002 nan 0.1000 -0.0000
## 800 0.0002 nan 0.1000 -0.0000
## 820 0.0002 nan 0.1000 -0.0000
## 840 0.0002 nan 0.1000 -0.0000
## 860 0.0002 nan 0.1000 -0.0000
## 880 0.0002 nan 0.1000 -0.0000
## 900 0.0001 nan 0.1000 -0.0000
## 920 0.0001 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5677 nan 0.0100 0.0269
## 2 3.5376 nan 0.0100 0.0279
## 3 3.5096 nan 0.0100 0.0281
## 4 3.4909 nan 0.0100 0.0098
## 5 3.4638 nan 0.0100 0.0252
## 6 3.4366 nan 0.0100 0.0288
## 7 3.4080 nan 0.0100 0.0277
## 8 3.3888 nan 0.0100 0.0140
## 9 3.3549 nan 0.0100 0.0221
## 10 3.3353 nan 0.0100 0.0098
## 20 3.0968 nan 0.0100 0.0202
## 40 2.7435 nan 0.0100 0.0058
## 60 2.4590 nan 0.0100 0.0114
## 80 2.2445 nan 0.0100 0.0058
## 100 2.0584 nan 0.0100 0.0067
## 120 1.9105 nan 0.0100 0.0039
## 140 1.7808 nan 0.0100 0.0048
## 160 1.6745 nan 0.0100 0.0029
## 180 1.5768 nan 0.0100 0.0047
## 200 1.5004 nan 0.0100 0.0018
## 220 1.4317 nan 0.0100 0.0019
## 240 1.3677 nan 0.0100 -0.0003
## 260 1.3129 nan 0.0100 0.0016
## 280 1.2690 nan 0.0100 0.0007
## 300 1.2287 nan 0.0100 0.0012
## 320 1.1936 nan 0.0100 0.0014
## 340 1.1670 nan 0.0100 -0.0010
## 360 1.1394 nan 0.0100 0.0008
## 380 1.1138 nan 0.0100 -0.0001
## 400 1.0888 nan 0.0100 -0.0008
## 420 1.0647 nan 0.0100 -0.0033
## 440 1.0424 nan 0.0100 -0.0007
## 460 1.0223 nan 0.0100 -0.0006
## 480 1.0038 nan 0.0100 -0.0005
## 500 0.9833 nan 0.0100 -0.0002
## 520 0.9671 nan 0.0100 -0.0009
## 540 0.9505 nan 0.0100 -0.0003
## 560 0.9333 nan 0.0100 -0.0004
## 580 0.9193 nan 0.0100 -0.0007
## 600 0.9039 nan 0.0100 -0.0006
## 620 0.8886 nan 0.0100 0.0001
## 640 0.8740 nan 0.0100 -0.0007
## 660 0.8618 nan 0.0100 -0.0008
## 680 0.8507 nan 0.0100 -0.0017
## 700 0.8381 nan 0.0100 -0.0005
## 720 0.8266 nan 0.0100 -0.0008
## 740 0.8160 nan 0.0100 -0.0005
## 760 0.8029 nan 0.0100 -0.0002
## 780 0.7900 nan 0.0100 -0.0013
## 800 0.7791 nan 0.0100 -0.0009
## 820 0.7680 nan 0.0100 -0.0008
## 840 0.7581 nan 0.0100 -0.0013
## 860 0.7480 nan 0.0100 -0.0006
## 880 0.7387 nan 0.0100 -0.0006
## 900 0.7277 nan 0.0100 -0.0005
## 920 0.7197 nan 0.0100 -0.0008
## 940 0.7109 nan 0.0100 -0.0011
## 960 0.7019 nan 0.0100 -0.0014
## 980 0.6938 nan 0.0100 -0.0005
## 1000 0.6840 nan 0.0100 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5606 nan 0.0100 0.0407
## 2 3.5239 nan 0.0100 0.0368
## 3 3.4911 nan 0.0100 0.0286
## 4 3.4510 nan 0.0100 0.0301
## 5 3.4231 nan 0.0100 0.0295
## 6 3.3888 nan 0.0100 0.0353
## 7 3.3500 nan 0.0100 0.0363
## 8 3.3126 nan 0.0100 0.0242
## 9 3.2791 nan 0.0100 0.0324
## 10 3.2422 nan 0.0100 0.0230
## 20 2.9176 nan 0.0100 0.0209
## 40 2.4329 nan 0.0100 0.0152
## 60 2.0685 nan 0.0100 0.0138
## 80 1.7763 nan 0.0100 0.0039
## 100 1.5626 nan 0.0100 0.0044
## 120 1.4030 nan 0.0100 0.0061
## 140 1.2699 nan 0.0100 0.0034
## 160 1.1675 nan 0.0100 -0.0006
## 180 1.0764 nan 0.0100 -0.0004
## 200 0.9965 nan 0.0100 -0.0004
## 220 0.9328 nan 0.0100 -0.0014
## 240 0.8722 nan 0.0100 0.0004
## 260 0.8190 nan 0.0100 -0.0011
## 280 0.7751 nan 0.0100 -0.0003
## 300 0.7319 nan 0.0100 -0.0017
## 320 0.6935 nan 0.0100 0.0002
## 340 0.6556 nan 0.0100 -0.0003
## 360 0.6221 nan 0.0100 -0.0002
## 380 0.5925 nan 0.0100 0.0006
## 400 0.5626 nan 0.0100 -0.0015
## 420 0.5364 nan 0.0100 -0.0005
## 440 0.5114 nan 0.0100 -0.0012
## 460 0.4867 nan 0.0100 -0.0007
## 480 0.4674 nan 0.0100 -0.0002
## 500 0.4478 nan 0.0100 -0.0010
## 520 0.4287 nan 0.0100 -0.0006
## 540 0.4093 nan 0.0100 -0.0007
## 560 0.3899 nan 0.0100 -0.0001
## 580 0.3752 nan 0.0100 -0.0003
## 600 0.3592 nan 0.0100 -0.0005
## 620 0.3440 nan 0.0100 -0.0004
## 640 0.3302 nan 0.0100 -0.0002
## 660 0.3167 nan 0.0100 -0.0006
## 680 0.3049 nan 0.0100 -0.0007
## 700 0.2944 nan 0.0100 -0.0004
## 720 0.2829 nan 0.0100 -0.0005
## 740 0.2738 nan 0.0100 -0.0006
## 760 0.2629 nan 0.0100 -0.0008
## 780 0.2533 nan 0.0100 -0.0002
## 800 0.2439 nan 0.0100 -0.0003
## 820 0.2347 nan 0.0100 -0.0004
## 840 0.2274 nan 0.0100 -0.0006
## 860 0.2187 nan 0.0100 -0.0001
## 880 0.2109 nan 0.0100 -0.0005
## 900 0.2037 nan 0.0100 -0.0005
## 920 0.1956 nan 0.0100 -0.0002
## 940 0.1882 nan 0.0100 -0.0003
## 960 0.1819 nan 0.0100 -0.0004
## 980 0.1758 nan 0.0100 -0.0002
## 1000 0.1698 nan 0.0100 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5656 nan 0.0100 0.0279
## 2 3.5267 nan 0.0100 0.0357
## 3 3.4806 nan 0.0100 0.0404
## 4 3.4427 nan 0.0100 0.0359
## 5 3.4055 nan 0.0100 0.0335
## 6 3.3700 nan 0.0100 0.0426
## 7 3.3265 nan 0.0100 0.0293
## 8 3.2887 nan 0.0100 0.0299
## 9 3.2561 nan 0.0100 0.0285
## 10 3.2234 nan 0.0100 0.0291
## 20 2.8943 nan 0.0100 0.0287
## 40 2.3947 nan 0.0100 0.0134
## 60 2.0195 nan 0.0100 0.0040
## 80 1.7325 nan 0.0100 0.0055
## 100 1.5194 nan 0.0100 0.0081
## 120 1.3376 nan 0.0100 -0.0010
## 140 1.1963 nan 0.0100 0.0044
## 160 1.0771 nan 0.0100 0.0012
## 180 0.9883 nan 0.0100 -0.0005
## 200 0.9083 nan 0.0100 0.0022
## 220 0.8397 nan 0.0100 -0.0001
## 240 0.7765 nan 0.0100 -0.0009
## 260 0.7281 nan 0.0100 0.0005
## 280 0.6822 nan 0.0100 -0.0007
## 300 0.6359 nan 0.0100 -0.0010
## 320 0.5966 nan 0.0100 0.0008
## 340 0.5623 nan 0.0100 0.0004
## 360 0.5349 nan 0.0100 -0.0014
## 380 0.5101 nan 0.0100 -0.0010
## 400 0.4822 nan 0.0100 0.0000
## 420 0.4565 nan 0.0100 0.0004
## 440 0.4330 nan 0.0100 -0.0015
## 460 0.4126 nan 0.0100 -0.0003
## 480 0.3917 nan 0.0100 0.0001
## 500 0.3759 nan 0.0100 -0.0008
## 520 0.3578 nan 0.0100 -0.0005
## 540 0.3418 nan 0.0100 -0.0004
## 560 0.3275 nan 0.0100 -0.0006
## 580 0.3100 nan 0.0100 -0.0003
## 600 0.2970 nan 0.0100 -0.0000
## 620 0.2818 nan 0.0100 -0.0002
## 640 0.2685 nan 0.0100 -0.0001
## 660 0.2573 nan 0.0100 -0.0000
## 680 0.2458 nan 0.0100 0.0007
## 700 0.2349 nan 0.0100 -0.0002
## 720 0.2262 nan 0.0100 -0.0007
## 740 0.2159 nan 0.0100 -0.0007
## 760 0.2071 nan 0.0100 -0.0003
## 780 0.1995 nan 0.0100 -0.0004
## 800 0.1923 nan 0.0100 -0.0002
## 820 0.1859 nan 0.0100 -0.0003
## 840 0.1793 nan 0.0100 -0.0005
## 860 0.1725 nan 0.0100 -0.0004
## 880 0.1656 nan 0.0100 -0.0003
## 900 0.1593 nan 0.0100 -0.0002
## 920 0.1528 nan 0.0100 -0.0000
## 940 0.1467 nan 0.0100 -0.0004
## 960 0.1410 nan 0.0100 -0.0002
## 980 0.1363 nan 0.0100 -0.0000
## 1000 0.1305 nan 0.0100 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5609 nan 0.0100 0.0331
## 2 3.5148 nan 0.0100 0.0280
## 3 3.4746 nan 0.0100 0.0292
## 4 3.4393 nan 0.0100 0.0361
## 5 3.3979 nan 0.0100 0.0299
## 6 3.3551 nan 0.0100 0.0338
## 7 3.3167 nan 0.0100 0.0335
## 8 3.2802 nan 0.0100 0.0283
## 9 3.2405 nan 0.0100 0.0378
## 10 3.2004 nan 0.0100 0.0326
## 20 2.8665 nan 0.0100 0.0281
## 40 2.3465 nan 0.0100 0.0144
## 60 1.9774 nan 0.0100 0.0063
## 80 1.7098 nan 0.0100 0.0079
## 100 1.4735 nan 0.0100 0.0050
## 120 1.3016 nan 0.0100 0.0046
## 140 1.1641 nan 0.0100 0.0035
## 160 1.0558 nan 0.0100 0.0011
## 180 0.9600 nan 0.0100 0.0002
## 200 0.8874 nan 0.0100 0.0006
## 220 0.8223 nan 0.0100 0.0005
## 240 0.7660 nan 0.0100 -0.0001
## 260 0.7144 nan 0.0100 -0.0010
## 280 0.6756 nan 0.0100 -0.0005
## 300 0.6344 nan 0.0100 0.0002
## 320 0.5950 nan 0.0100 -0.0002
## 340 0.5593 nan 0.0100 0.0002
## 360 0.5224 nan 0.0100 -0.0002
## 380 0.4930 nan 0.0100 -0.0008
## 400 0.4653 nan 0.0100 -0.0003
## 420 0.4415 nan 0.0100 -0.0002
## 440 0.4199 nan 0.0100 -0.0008
## 460 0.3978 nan 0.0100 -0.0010
## 480 0.3792 nan 0.0100 -0.0001
## 500 0.3581 nan 0.0100 -0.0001
## 520 0.3420 nan 0.0100 0.0002
## 540 0.3259 nan 0.0100 0.0000
## 560 0.3106 nan 0.0100 0.0001
## 580 0.2970 nan 0.0100 -0.0005
## 600 0.2820 nan 0.0100 -0.0003
## 620 0.2716 nan 0.0100 -0.0003
## 640 0.2574 nan 0.0100 -0.0002
## 660 0.2461 nan 0.0100 -0.0003
## 680 0.2367 nan 0.0100 -0.0003
## 700 0.2263 nan 0.0100 -0.0006
## 720 0.2184 nan 0.0100 -0.0002
## 740 0.2105 nan 0.0100 -0.0005
## 760 0.2004 nan 0.0100 -0.0002
## 780 0.1922 nan 0.0100 -0.0004
## 800 0.1857 nan 0.0100 -0.0005
## 820 0.1788 nan 0.0100 -0.0003
## 840 0.1715 nan 0.0100 -0.0001
## 860 0.1653 nan 0.0100 -0.0003
## 880 0.1596 nan 0.0100 -0.0004
## 900 0.1534 nan 0.0100 -0.0002
## 920 0.1466 nan 0.0100 -0.0004
## 940 0.1405 nan 0.0100 -0.0001
## 960 0.1362 nan 0.0100 -0.0003
## 980 0.1304 nan 0.0100 -0.0001
## 1000 0.1259 nan 0.0100 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3317 nan 0.1000 0.2613
## 2 3.0546 nan 0.1000 0.2412
## 3 2.8577 nan 0.1000 0.1687
## 4 2.7144 nan 0.1000 0.1220
## 5 2.5867 nan 0.1000 0.0981
## 6 2.4536 nan 0.1000 0.1180
## 7 2.3539 nan 0.1000 0.0318
## 8 2.2698 nan 0.1000 0.0606
## 9 2.1467 nan 0.1000 0.0795
## 10 2.0597 nan 0.1000 0.0536
## 20 1.4795 nan 0.1000 0.0084
## 40 1.1159 nan 0.1000 0.0042
## 60 0.8949 nan 0.1000 -0.0037
## 80 0.7713 nan 0.1000 -0.0089
## 100 0.6804 nan 0.1000 -0.0022
## 120 0.6046 nan 0.1000 -0.0013
## 140 0.5513 nan 0.1000 -0.0073
## 160 0.4991 nan 0.1000 -0.0060
## 180 0.4532 nan 0.1000 -0.0049
## 200 0.4161 nan 0.1000 -0.0005
## 220 0.3811 nan 0.1000 -0.0062
## 240 0.3465 nan 0.1000 0.0004
## 260 0.3232 nan 0.1000 -0.0093
## 280 0.3018 nan 0.1000 -0.0026
## 300 0.2874 nan 0.1000 -0.0034
## 320 0.2697 nan 0.1000 -0.0053
## 340 0.2477 nan 0.1000 -0.0026
## 360 0.2253 nan 0.1000 -0.0037
## 380 0.2083 nan 0.1000 -0.0025
## 400 0.1908 nan 0.1000 -0.0035
## 420 0.1794 nan 0.1000 -0.0024
## 440 0.1668 nan 0.1000 -0.0018
## 460 0.1558 nan 0.1000 -0.0036
## 480 0.1451 nan 0.1000 -0.0018
## 500 0.1368 nan 0.1000 -0.0023
## 520 0.1288 nan 0.1000 -0.0017
## 540 0.1227 nan 0.1000 -0.0014
## 560 0.1158 nan 0.1000 -0.0027
## 580 0.1095 nan 0.1000 -0.0010
## 600 0.1041 nan 0.1000 -0.0015
## 620 0.0983 nan 0.1000 -0.0010
## 640 0.0929 nan 0.1000 -0.0013
## 660 0.0872 nan 0.1000 -0.0010
## 680 0.0822 nan 0.1000 -0.0013
## 700 0.0788 nan 0.1000 -0.0009
## 720 0.0745 nan 0.1000 -0.0005
## 740 0.0708 nan 0.1000 -0.0003
## 760 0.0676 nan 0.1000 -0.0008
## 780 0.0639 nan 0.1000 -0.0009
## 800 0.0607 nan 0.1000 -0.0013
## 820 0.0575 nan 0.1000 -0.0008
## 840 0.0548 nan 0.1000 -0.0007
## 860 0.0524 nan 0.1000 -0.0003
## 880 0.0501 nan 0.1000 -0.0009
## 900 0.0473 nan 0.1000 -0.0008
## 920 0.0446 nan 0.1000 -0.0007
## 940 0.0428 nan 0.1000 -0.0006
## 960 0.0408 nan 0.1000 -0.0007
## 980 0.0387 nan 0.1000 -0.0006
## 1000 0.0363 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2387 nan 0.1000 0.2675
## 2 2.8748 nan 0.1000 0.3403
## 3 2.6120 nan 0.1000 0.1975
## 4 2.4004 nan 0.1000 0.1741
## 5 2.1931 nan 0.1000 0.1404
## 6 2.0558 nan 0.1000 0.0747
## 7 1.8924 nan 0.1000 0.0717
## 8 1.7791 nan 0.1000 0.0563
## 9 1.6637 nan 0.1000 0.0796
## 10 1.5632 nan 0.1000 0.0345
## 20 0.9775 nan 0.1000 0.0191
## 40 0.5542 nan 0.1000 -0.0096
## 60 0.3712 nan 0.1000 -0.0060
## 80 0.2610 nan 0.1000 -0.0014
## 100 0.1837 nan 0.1000 -0.0004
## 120 0.1304 nan 0.1000 -0.0021
## 140 0.1025 nan 0.1000 -0.0002
## 160 0.0774 nan 0.1000 0.0002
## 180 0.0616 nan 0.1000 -0.0006
## 200 0.0464 nan 0.1000 -0.0004
## 220 0.0356 nan 0.1000 -0.0009
## 240 0.0274 nan 0.1000 -0.0006
## 260 0.0208 nan 0.1000 -0.0004
## 280 0.0159 nan 0.1000 -0.0004
## 300 0.0129 nan 0.1000 -0.0003
## 320 0.0101 nan 0.1000 -0.0002
## 340 0.0080 nan 0.1000 -0.0001
## 360 0.0064 nan 0.1000 -0.0001
## 380 0.0052 nan 0.1000 -0.0001
## 400 0.0041 nan 0.1000 -0.0000
## 420 0.0033 nan 0.1000 -0.0001
## 440 0.0027 nan 0.1000 -0.0001
## 460 0.0023 nan 0.1000 -0.0000
## 480 0.0019 nan 0.1000 -0.0001
## 500 0.0016 nan 0.1000 -0.0001
## 520 0.0012 nan 0.1000 -0.0000
## 540 0.0010 nan 0.1000 -0.0000
## 560 0.0009 nan 0.1000 -0.0000
## 580 0.0007 nan 0.1000 -0.0000
## 600 0.0006 nan 0.1000 -0.0000
## 620 0.0005 nan 0.1000 -0.0000
## 640 0.0004 nan 0.1000 -0.0000
## 660 0.0004 nan 0.1000 -0.0000
## 680 0.0003 nan 0.1000 -0.0000
## 700 0.0003 nan 0.1000 -0.0000
## 720 0.0002 nan 0.1000 -0.0000
## 740 0.0002 nan 0.1000 -0.0000
## 760 0.0001 nan 0.1000 -0.0000
## 780 0.0001 nan 0.1000 -0.0000
## 800 0.0001 nan 0.1000 -0.0000
## 820 0.0001 nan 0.1000 -0.0000
## 840 0.0001 nan 0.1000 -0.0000
## 860 0.0001 nan 0.1000 -0.0000
## 880 0.0001 nan 0.1000 -0.0000
## 900 0.0000 nan 0.1000 -0.0000
## 920 0.0000 nan 0.1000 -0.0000
## 940 0.0000 nan 0.1000 -0.0000
## 960 0.0000 nan 0.1000 -0.0000
## 980 0.0000 nan 0.1000 -0.0000
## 1000 0.0000 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2537 nan 0.1000 0.2886
## 2 2.8862 nan 0.1000 0.2701
## 3 2.6172 nan 0.1000 0.1661
## 4 2.4655 nan 0.1000 0.0371
## 5 2.2814 nan 0.1000 0.1897
## 6 2.0940 nan 0.1000 0.0464
## 7 1.9304 nan 0.1000 0.1168
## 8 1.7663 nan 0.1000 0.1171
## 9 1.6533 nan 0.1000 0.0897
## 10 1.5501 nan 0.1000 0.0436
## 20 0.9439 nan 0.1000 0.0016
## 40 0.5299 nan 0.1000 -0.0044
## 60 0.3068 nan 0.1000 -0.0121
## 80 0.1936 nan 0.1000 -0.0079
## 100 0.1301 nan 0.1000 -0.0023
## 120 0.0916 nan 0.1000 0.0002
## 140 0.0647 nan 0.1000 -0.0014
## 160 0.0444 nan 0.1000 -0.0012
## 180 0.0326 nan 0.1000 -0.0003
## 200 0.0246 nan 0.1000 -0.0006
## 220 0.0172 nan 0.1000 -0.0003
## 240 0.0133 nan 0.1000 -0.0003
## 260 0.0103 nan 0.1000 -0.0003
## 280 0.0085 nan 0.1000 -0.0003
## 300 0.0066 nan 0.1000 -0.0001
## 320 0.0054 nan 0.1000 -0.0001
## 340 0.0045 nan 0.1000 -0.0001
## 360 0.0036 nan 0.1000 -0.0000
## 380 0.0031 nan 0.1000 -0.0001
## 400 0.0025 nan 0.1000 -0.0000
## 420 0.0022 nan 0.1000 -0.0001
## 440 0.0017 nan 0.1000 -0.0000
## 460 0.0014 nan 0.1000 -0.0000
## 480 0.0012 nan 0.1000 -0.0000
## 500 0.0010 nan 0.1000 -0.0000
## 520 0.0009 nan 0.1000 -0.0000
## 540 0.0008 nan 0.1000 -0.0000
## 560 0.0006 nan 0.1000 -0.0000
## 580 0.0005 nan 0.1000 -0.0000
## 600 0.0004 nan 0.1000 -0.0000
## 620 0.0004 nan 0.1000 -0.0000
## 640 0.0003 nan 0.1000 -0.0000
## 660 0.0003 nan 0.1000 -0.0000
## 680 0.0002 nan 0.1000 -0.0000
## 700 0.0002 nan 0.1000 -0.0000
## 720 0.0002 nan 0.1000 -0.0000
## 740 0.0001 nan 0.1000 -0.0000
## 760 0.0001 nan 0.1000 -0.0000
## 780 0.0001 nan 0.1000 -0.0000
## 800 0.0001 nan 0.1000 -0.0000
## 820 0.0001 nan 0.1000 -0.0000
## 840 0.0001 nan 0.1000 -0.0000
## 860 0.0001 nan 0.1000 -0.0000
## 880 0.0001 nan 0.1000 -0.0000
## 900 0.0001 nan 0.1000 -0.0000
## 920 0.0000 nan 0.1000 -0.0000
## 940 0.0000 nan 0.1000 -0.0000
## 960 0.0000 nan 0.1000 -0.0000
## 980 0.0000 nan 0.1000 -0.0000
## 1000 0.0000 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2570 nan 0.1000 0.2732
## 2 2.9612 nan 0.1000 0.2915
## 3 2.6732 nan 0.1000 0.1876
## 4 2.4048 nan 0.1000 0.2417
## 5 2.2143 nan 0.1000 0.1435
## 6 2.0630 nan 0.1000 0.1100
## 7 1.8836 nan 0.1000 0.1261
## 8 1.7353 nan 0.1000 0.0926
## 9 1.6271 nan 0.1000 0.0484
## 10 1.5330 nan 0.1000 0.0554
## 20 0.9009 nan 0.1000 0.0230
## 40 0.4608 nan 0.1000 -0.0218
## 60 0.2939 nan 0.1000 -0.0075
## 80 0.2012 nan 0.1000 -0.0058
## 100 0.1344 nan 0.1000 -0.0014
## 120 0.0996 nan 0.1000 -0.0026
## 140 0.0739 nan 0.1000 -0.0020
## 160 0.0557 nan 0.1000 -0.0003
## 180 0.0443 nan 0.1000 -0.0015
## 200 0.0349 nan 0.1000 -0.0012
## 220 0.0283 nan 0.1000 -0.0008
## 240 0.0225 nan 0.1000 -0.0002
## 260 0.0176 nan 0.1000 -0.0002
## 280 0.0149 nan 0.1000 -0.0002
## 300 0.0119 nan 0.1000 -0.0001
## 320 0.0098 nan 0.1000 -0.0003
## 340 0.0082 nan 0.1000 -0.0002
## 360 0.0069 nan 0.1000 -0.0001
## 380 0.0058 nan 0.1000 -0.0001
## 400 0.0046 nan 0.1000 -0.0001
## 420 0.0039 nan 0.1000 -0.0000
## 440 0.0035 nan 0.1000 -0.0001
## 460 0.0030 nan 0.1000 -0.0000
## 480 0.0027 nan 0.1000 -0.0001
## 500 0.0025 nan 0.1000 -0.0000
## 520 0.0021 nan 0.1000 -0.0000
## 540 0.0018 nan 0.1000 -0.0001
## 560 0.0015 nan 0.1000 -0.0000
## 580 0.0013 nan 0.1000 -0.0000
## 600 0.0011 nan 0.1000 -0.0000
## 620 0.0010 nan 0.1000 -0.0000
## 640 0.0009 nan 0.1000 -0.0000
## 660 0.0007 nan 0.1000 -0.0000
## 680 0.0006 nan 0.1000 -0.0000
## 700 0.0005 nan 0.1000 -0.0000
## 720 0.0004 nan 0.1000 -0.0000
## 740 0.0004 nan 0.1000 -0.0000
## 760 0.0003 nan 0.1000 -0.0000
## 780 0.0003 nan 0.1000 -0.0000
## 800 0.0002 nan 0.1000 -0.0000
## 820 0.0002 nan 0.1000 -0.0000
## 840 0.0002 nan 0.1000 -0.0000
## 860 0.0002 nan 0.1000 -0.0000
## 880 0.0002 nan 0.1000 -0.0000
## 900 0.0001 nan 0.1000 -0.0000
## 920 0.0001 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5424 nan 0.0100 0.0292
## 2 3.5118 nan 0.0100 0.0256
## 3 3.4924 nan 0.0100 0.0134
## 4 3.4646 nan 0.0100 0.0277
## 5 3.4392 nan 0.0100 0.0250
## 6 3.4090 nan 0.0100 0.0317
## 7 3.3816 nan 0.0100 0.0238
## 8 3.3550 nan 0.0100 0.0239
## 9 3.3297 nan 0.0100 0.0259
## 10 3.3052 nan 0.0100 0.0228
## 20 3.0767 nan 0.0100 0.0230
## 40 2.7166 nan 0.0100 0.0113
## 60 2.4217 nan 0.0100 0.0126
## 80 2.2042 nan 0.0100 0.0105
## 100 2.0345 nan 0.0100 0.0054
## 120 1.8814 nan 0.0100 0.0023
## 140 1.7519 nan 0.0100 0.0047
## 160 1.6395 nan 0.0100 0.0025
## 180 1.5513 nan 0.0100 -0.0006
## 200 1.4619 nan 0.0100 -0.0006
## 220 1.3901 nan 0.0100 0.0008
## 240 1.3261 nan 0.0100 -0.0012
## 260 1.2745 nan 0.0100 0.0010
## 280 1.2318 nan 0.0100 -0.0007
## 300 1.1871 nan 0.0100 0.0006
## 320 1.1533 nan 0.0100 -0.0006
## 340 1.1229 nan 0.0100 -0.0006
## 360 1.0906 nan 0.0100 -0.0003
## 380 1.0643 nan 0.0100 0.0002
## 400 1.0425 nan 0.0100 -0.0002
## 420 1.0165 nan 0.0100 -0.0007
## 440 0.9947 nan 0.0100 0.0001
## 460 0.9745 nan 0.0100 -0.0001
## 480 0.9557 nan 0.0100 -0.0004
## 500 0.9370 nan 0.0100 -0.0001
## 520 0.9198 nan 0.0100 -0.0001
## 540 0.9022 nan 0.0100 -0.0007
## 560 0.8883 nan 0.0100 -0.0003
## 580 0.8715 nan 0.0100 -0.0006
## 600 0.8561 nan 0.0100 -0.0009
## 620 0.8426 nan 0.0100 -0.0002
## 640 0.8296 nan 0.0100 -0.0017
## 660 0.8156 nan 0.0100 -0.0007
## 680 0.8040 nan 0.0100 -0.0010
## 700 0.7915 nan 0.0100 -0.0002
## 720 0.7789 nan 0.0100 -0.0001
## 740 0.7673 nan 0.0100 -0.0007
## 760 0.7535 nan 0.0100 -0.0007
## 780 0.7446 nan 0.0100 -0.0007
## 800 0.7341 nan 0.0100 -0.0006
## 820 0.7223 nan 0.0100 -0.0006
## 840 0.7131 nan 0.0100 -0.0012
## 860 0.7022 nan 0.0100 -0.0010
## 880 0.6931 nan 0.0100 -0.0006
## 900 0.6843 nan 0.0100 -0.0007
## 920 0.6763 nan 0.0100 -0.0009
## 940 0.6675 nan 0.0100 -0.0007
## 960 0.6596 nan 0.0100 -0.0006
## 980 0.6512 nan 0.0100 -0.0008
## 1000 0.6444 nan 0.0100 -0.0015
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5294 nan 0.0100 0.0370
## 2 3.4967 nan 0.0100 0.0342
## 3 3.4551 nan 0.0100 0.0391
## 4 3.4188 nan 0.0100 0.0344
## 5 3.3775 nan 0.0100 0.0234
## 6 3.3438 nan 0.0100 0.0171
## 7 3.3086 nan 0.0100 0.0295
## 8 3.2727 nan 0.0100 0.0382
## 9 3.2349 nan 0.0100 0.0331
## 10 3.1941 nan 0.0100 0.0352
## 20 2.8643 nan 0.0100 0.0258
## 40 2.3592 nan 0.0100 0.0193
## 60 2.0121 nan 0.0100 0.0143
## 80 1.7385 nan 0.0100 0.0096
## 100 1.5186 nan 0.0100 0.0061
## 120 1.3601 nan 0.0100 0.0015
## 140 1.2244 nan 0.0100 0.0004
## 160 1.1225 nan 0.0100 0.0007
## 180 1.0252 nan 0.0100 0.0019
## 200 0.9479 nan 0.0100 0.0003
## 220 0.8837 nan 0.0100 -0.0012
## 240 0.8225 nan 0.0100 0.0008
## 260 0.7714 nan 0.0100 -0.0003
## 280 0.7228 nan 0.0100 0.0012
## 300 0.6850 nan 0.0100 -0.0002
## 320 0.6487 nan 0.0100 0.0009
## 340 0.6173 nan 0.0100 -0.0012
## 360 0.5859 nan 0.0100 0.0002
## 380 0.5590 nan 0.0100 -0.0001
## 400 0.5288 nan 0.0100 -0.0002
## 420 0.5029 nan 0.0100 -0.0004
## 440 0.4811 nan 0.0100 -0.0009
## 460 0.4593 nan 0.0100 -0.0008
## 480 0.4367 nan 0.0100 -0.0005
## 500 0.4191 nan 0.0100 -0.0002
## 520 0.4032 nan 0.0100 -0.0002
## 540 0.3876 nan 0.0100 -0.0005
## 560 0.3718 nan 0.0100 -0.0007
## 580 0.3572 nan 0.0100 -0.0001
## 600 0.3432 nan 0.0100 -0.0004
## 620 0.3304 nan 0.0100 -0.0009
## 640 0.3159 nan 0.0100 -0.0005
## 660 0.3042 nan 0.0100 -0.0010
## 680 0.2923 nan 0.0100 -0.0006
## 700 0.2818 nan 0.0100 -0.0005
## 720 0.2715 nan 0.0100 -0.0005
## 740 0.2622 nan 0.0100 -0.0010
## 760 0.2539 nan 0.0100 -0.0004
## 780 0.2442 nan 0.0100 -0.0004
## 800 0.2351 nan 0.0100 -0.0005
## 820 0.2276 nan 0.0100 -0.0003
## 840 0.2205 nan 0.0100 -0.0004
## 860 0.2129 nan 0.0100 -0.0000
## 880 0.2059 nan 0.0100 -0.0003
## 900 0.1987 nan 0.0100 -0.0007
## 920 0.1918 nan 0.0100 -0.0007
## 940 0.1858 nan 0.0100 -0.0001
## 960 0.1800 nan 0.0100 -0.0005
## 980 0.1738 nan 0.0100 -0.0003
## 1000 0.1681 nan 0.0100 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5284 nan 0.0100 0.0393
## 2 3.4877 nan 0.0100 0.0334
## 3 3.4417 nan 0.0100 0.0372
## 4 3.4024 nan 0.0100 0.0363
## 5 3.3629 nan 0.0100 0.0332
## 6 3.3352 nan 0.0100 0.0146
## 7 3.2940 nan 0.0100 0.0358
## 8 3.2575 nan 0.0100 0.0315
## 9 3.2218 nan 0.0100 0.0255
## 10 3.1884 nan 0.0100 0.0307
## 20 2.8546 nan 0.0100 0.0315
## 40 2.3326 nan 0.0100 0.0178
## 60 1.9306 nan 0.0100 0.0148
## 80 1.6581 nan 0.0100 0.0080
## 100 1.4459 nan 0.0100 0.0037
## 120 1.2743 nan 0.0100 0.0044
## 140 1.1359 nan 0.0100 0.0006
## 160 1.0262 nan 0.0100 0.0035
## 180 0.9227 nan 0.0100 0.0010
## 200 0.8476 nan 0.0100 -0.0003
## 220 0.7799 nan 0.0100 0.0017
## 240 0.7193 nan 0.0100 0.0001
## 260 0.6703 nan 0.0100 0.0006
## 280 0.6233 nan 0.0100 -0.0001
## 300 0.5855 nan 0.0100 -0.0001
## 320 0.5507 nan 0.0100 0.0001
## 340 0.5135 nan 0.0100 -0.0000
## 360 0.4822 nan 0.0100 -0.0011
## 380 0.4537 nan 0.0100 0.0002
## 400 0.4283 nan 0.0100 -0.0008
## 420 0.4045 nan 0.0100 -0.0010
## 440 0.3833 nan 0.0100 -0.0011
## 460 0.3636 nan 0.0100 -0.0003
## 480 0.3467 nan 0.0100 -0.0008
## 500 0.3322 nan 0.0100 0.0001
## 520 0.3180 nan 0.0100 0.0000
## 540 0.3029 nan 0.0100 -0.0009
## 560 0.2879 nan 0.0100 -0.0003
## 580 0.2760 nan 0.0100 -0.0003
## 600 0.2650 nan 0.0100 -0.0001
## 620 0.2541 nan 0.0100 -0.0005
## 640 0.2423 nan 0.0100 -0.0003
## 660 0.2319 nan 0.0100 0.0002
## 680 0.2213 nan 0.0100 -0.0001
## 700 0.2126 nan 0.0100 -0.0006
## 720 0.2036 nan 0.0100 -0.0004
## 740 0.1959 nan 0.0100 -0.0001
## 760 0.1882 nan 0.0100 -0.0005
## 780 0.1818 nan 0.0100 -0.0001
## 800 0.1742 nan 0.0100 -0.0007
## 820 0.1678 nan 0.0100 -0.0001
## 840 0.1611 nan 0.0100 -0.0001
## 860 0.1551 nan 0.0100 -0.0003
## 880 0.1493 nan 0.0100 -0.0003
## 900 0.1442 nan 0.0100 -0.0001
## 920 0.1388 nan 0.0100 -0.0003
## 940 0.1343 nan 0.0100 -0.0003
## 960 0.1291 nan 0.0100 -0.0006
## 980 0.1246 nan 0.0100 -0.0002
## 1000 0.1208 nan 0.0100 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5252 nan 0.0100 0.0385
## 2 3.4823 nan 0.0100 0.0312
## 3 3.4407 nan 0.0100 0.0276
## 4 3.3996 nan 0.0100 0.0339
## 5 3.3678 nan 0.0100 0.0368
## 6 3.3324 nan 0.0100 0.0229
## 7 3.2980 nan 0.0100 0.0318
## 8 3.2596 nan 0.0100 0.0283
## 9 3.2227 nan 0.0100 0.0298
## 10 3.1879 nan 0.0100 0.0301
## 20 2.8584 nan 0.0100 0.0297
## 40 2.3467 nan 0.0100 0.0091
## 60 1.9822 nan 0.0100 0.0105
## 80 1.6826 nan 0.0100 0.0029
## 100 1.4563 nan 0.0100 0.0012
## 120 1.2674 nan 0.0100 0.0084
## 140 1.1193 nan 0.0100 0.0054
## 160 1.0067 nan 0.0100 0.0020
## 180 0.9126 nan 0.0100 0.0010
## 200 0.8253 nan 0.0100 0.0022
## 220 0.7638 nan 0.0100 -0.0008
## 240 0.7047 nan 0.0100 0.0016
## 260 0.6561 nan 0.0100 0.0004
## 280 0.6145 nan 0.0100 0.0006
## 300 0.5781 nan 0.0100 -0.0009
## 320 0.5400 nan 0.0100 -0.0002
## 340 0.5084 nan 0.0100 0.0004
## 360 0.4827 nan 0.0100 -0.0010
## 380 0.4593 nan 0.0100 -0.0006
## 400 0.4350 nan 0.0100 0.0003
## 420 0.4134 nan 0.0100 -0.0011
## 440 0.3926 nan 0.0100 -0.0002
## 460 0.3715 nan 0.0100 -0.0008
## 480 0.3521 nan 0.0100 -0.0007
## 500 0.3368 nan 0.0100 -0.0006
## 520 0.3212 nan 0.0100 -0.0005
## 540 0.3070 nan 0.0100 -0.0004
## 560 0.2926 nan 0.0100 -0.0004
## 580 0.2818 nan 0.0100 -0.0002
## 600 0.2680 nan 0.0100 -0.0001
## 620 0.2555 nan 0.0100 -0.0005
## 640 0.2451 nan 0.0100 -0.0008
## 660 0.2349 nan 0.0100 -0.0003
## 680 0.2244 nan 0.0100 -0.0005
## 700 0.2151 nan 0.0100 -0.0005
## 720 0.2076 nan 0.0100 -0.0003
## 740 0.1983 nan 0.0100 -0.0001
## 760 0.1902 nan 0.0100 -0.0005
## 780 0.1826 nan 0.0100 -0.0004
## 800 0.1756 nan 0.0100 -0.0003
## 820 0.1705 nan 0.0100 -0.0003
## 840 0.1644 nan 0.0100 -0.0003
## 860 0.1593 nan 0.0100 -0.0001
## 880 0.1539 nan 0.0100 -0.0002
## 900 0.1479 nan 0.0100 -0.0003
## 920 0.1439 nan 0.0100 -0.0003
## 940 0.1394 nan 0.0100 -0.0003
## 960 0.1348 nan 0.0100 -0.0000
## 980 0.1296 nan 0.0100 -0.0002
## 1000 0.1257 nan 0.0100 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2649 nan 0.1000 0.2383
## 2 3.0192 nan 0.1000 0.2284
## 3 2.8569 nan 0.1000 0.1025
## 4 2.6801 nan 0.1000 0.1421
## 5 2.5120 nan 0.1000 0.1458
## 6 2.3840 nan 0.1000 0.1008
## 7 2.3079 nan 0.1000 0.0430
## 8 2.1928 nan 0.1000 0.0993
## 9 2.0872 nan 0.1000 0.0496
## 10 2.0126 nan 0.1000 0.0438
## 20 1.4368 nan 0.1000 -0.0031
## 40 1.0406 nan 0.1000 -0.0244
## 60 0.8652 nan 0.1000 -0.0035
## 80 0.7625 nan 0.1000 -0.0181
## 100 0.6533 nan 0.1000 -0.0004
## 120 0.5912 nan 0.1000 -0.0090
## 140 0.5164 nan 0.1000 -0.0088
## 160 0.4736 nan 0.1000 -0.0027
## 180 0.4357 nan 0.1000 -0.0074
## 200 0.3932 nan 0.1000 -0.0020
## 220 0.3678 nan 0.1000 -0.0027
## 240 0.3376 nan 0.1000 -0.0048
## 260 0.3027 nan 0.1000 -0.0096
## 280 0.2732 nan 0.1000 -0.0044
## 300 0.2557 nan 0.1000 -0.0051
## 320 0.2394 nan 0.1000 -0.0054
## 340 0.2202 nan 0.1000 -0.0007
## 360 0.2054 nan 0.1000 -0.0033
## 380 0.1914 nan 0.1000 -0.0021
## 400 0.1795 nan 0.1000 -0.0022
## 420 0.1685 nan 0.1000 -0.0012
## 440 0.1543 nan 0.1000 -0.0036
## 460 0.1488 nan 0.1000 -0.0045
## 480 0.1392 nan 0.1000 -0.0019
## 500 0.1309 nan 0.1000 -0.0019
## 520 0.1196 nan 0.1000 -0.0015
## 540 0.1110 nan 0.1000 -0.0013
## 560 0.1032 nan 0.1000 -0.0006
## 580 0.0982 nan 0.1000 -0.0002
## 600 0.0931 nan 0.1000 -0.0010
## 620 0.0886 nan 0.1000 -0.0020
## 640 0.0842 nan 0.1000 -0.0006
## 660 0.0807 nan 0.1000 -0.0004
## 680 0.0766 nan 0.1000 -0.0009
## 700 0.0723 nan 0.1000 -0.0005
## 720 0.0675 nan 0.1000 -0.0005
## 740 0.0652 nan 0.1000 -0.0008
## 760 0.0617 nan 0.1000 -0.0013
## 780 0.0577 nan 0.1000 -0.0002
## 800 0.0551 nan 0.1000 -0.0007
## 820 0.0526 nan 0.1000 -0.0011
## 840 0.0499 nan 0.1000 -0.0001
## 860 0.0472 nan 0.1000 -0.0005
## 880 0.0447 nan 0.1000 -0.0009
## 900 0.0422 nan 0.1000 -0.0004
## 920 0.0399 nan 0.1000 -0.0003
## 940 0.0382 nan 0.1000 -0.0003
## 960 0.0366 nan 0.1000 -0.0006
## 980 0.0343 nan 0.1000 -0.0005
## 1000 0.0325 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1920 nan 0.1000 0.3639
## 2 2.8846 nan 0.1000 0.1945
## 3 2.6875 nan 0.1000 0.1173
## 4 2.4435 nan 0.1000 0.2067
## 5 2.2230 nan 0.1000 0.1634
## 6 2.0250 nan 0.1000 0.1748
## 7 1.8337 nan 0.1000 0.0775
## 8 1.7281 nan 0.1000 0.0904
## 9 1.5951 nan 0.1000 0.0286
## 10 1.5163 nan 0.1000 0.0610
## 20 0.9076 nan 0.1000 0.0059
## 40 0.5348 nan 0.1000 -0.0101
## 60 0.3549 nan 0.1000 -0.0025
## 80 0.2437 nan 0.1000 -0.0017
## 100 0.1817 nan 0.1000 -0.0008
## 120 0.1299 nan 0.1000 -0.0040
## 140 0.1015 nan 0.1000 -0.0019
## 160 0.0772 nan 0.1000 -0.0009
## 180 0.0570 nan 0.1000 -0.0013
## 200 0.0450 nan 0.1000 -0.0011
## 220 0.0354 nan 0.1000 -0.0004
## 240 0.0279 nan 0.1000 -0.0006
## 260 0.0225 nan 0.1000 -0.0002
## 280 0.0183 nan 0.1000 -0.0005
## 300 0.0141 nan 0.1000 -0.0003
## 320 0.0118 nan 0.1000 -0.0004
## 340 0.0101 nan 0.1000 -0.0002
## 360 0.0079 nan 0.1000 -0.0002
## 380 0.0068 nan 0.1000 -0.0002
## 400 0.0057 nan 0.1000 -0.0002
## 420 0.0048 nan 0.1000 -0.0001
## 440 0.0038 nan 0.1000 -0.0001
## 460 0.0032 nan 0.1000 -0.0001
## 480 0.0026 nan 0.1000 -0.0000
## 500 0.0022 nan 0.1000 -0.0000
## 520 0.0018 nan 0.1000 -0.0000
## 540 0.0015 nan 0.1000 -0.0000
## 560 0.0013 nan 0.1000 -0.0000
## 580 0.0010 nan 0.1000 -0.0000
## 600 0.0009 nan 0.1000 -0.0000
## 620 0.0008 nan 0.1000 -0.0000
## 640 0.0007 nan 0.1000 -0.0000
## 660 0.0006 nan 0.1000 -0.0000
## 680 0.0005 nan 0.1000 -0.0000
## 700 0.0004 nan 0.1000 -0.0000
## 720 0.0004 nan 0.1000 -0.0000
## 740 0.0003 nan 0.1000 -0.0000
## 760 0.0003 nan 0.1000 -0.0000
## 780 0.0002 nan 0.1000 -0.0000
## 800 0.0002 nan 0.1000 -0.0000
## 820 0.0002 nan 0.1000 -0.0000
## 840 0.0002 nan 0.1000 -0.0000
## 860 0.0001 nan 0.1000 -0.0000
## 880 0.0001 nan 0.1000 -0.0000
## 900 0.0001 nan 0.1000 -0.0000
## 920 0.0001 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2340 nan 0.1000 0.3704
## 2 2.8934 nan 0.1000 0.3443
## 3 2.6270 nan 0.1000 0.2602
## 4 2.3606 nan 0.1000 0.1932
## 5 2.1724 nan 0.1000 0.1437
## 6 1.9604 nan 0.1000 0.1681
## 7 1.8408 nan 0.1000 0.1285
## 8 1.6971 nan 0.1000 0.0626
## 9 1.5819 nan 0.1000 0.0744
## 10 1.4781 nan 0.1000 0.0675
## 20 0.9089 nan 0.1000 0.0218
## 40 0.4736 nan 0.1000 0.0046
## 60 0.3073 nan 0.1000 0.0010
## 80 0.1938 nan 0.1000 0.0018
## 100 0.1397 nan 0.1000 -0.0024
## 120 0.1008 nan 0.1000 -0.0025
## 140 0.0736 nan 0.1000 -0.0021
## 160 0.0584 nan 0.1000 -0.0005
## 180 0.0472 nan 0.1000 -0.0006
## 200 0.0363 nan 0.1000 -0.0010
## 220 0.0312 nan 0.1000 -0.0003
## 240 0.0263 nan 0.1000 -0.0006
## 260 0.0208 nan 0.1000 -0.0004
## 280 0.0184 nan 0.1000 -0.0004
## 300 0.0160 nan 0.1000 0.0000
## 320 0.0134 nan 0.1000 -0.0001
## 340 0.0116 nan 0.1000 -0.0001
## 360 0.0101 nan 0.1000 -0.0001
## 380 0.0086 nan 0.1000 -0.0001
## 400 0.0075 nan 0.1000 -0.0002
## 420 0.0065 nan 0.1000 -0.0001
## 440 0.0055 nan 0.1000 -0.0001
## 460 0.0050 nan 0.1000 -0.0001
## 480 0.0042 nan 0.1000 -0.0000
## 500 0.0038 nan 0.1000 -0.0001
## 520 0.0034 nan 0.1000 -0.0000
## 540 0.0030 nan 0.1000 -0.0000
## 560 0.0025 nan 0.1000 -0.0000
## 580 0.0020 nan 0.1000 -0.0000
## 600 0.0018 nan 0.1000 -0.0000
## 620 0.0015 nan 0.1000 -0.0000
## 640 0.0014 nan 0.1000 -0.0000
## 660 0.0012 nan 0.1000 -0.0000
## 680 0.0011 nan 0.1000 -0.0000
## 700 0.0010 nan 0.1000 -0.0000
## 720 0.0009 nan 0.1000 -0.0000
## 740 0.0008 nan 0.1000 -0.0000
## 760 0.0007 nan 0.1000 -0.0000
## 780 0.0006 nan 0.1000 -0.0000
## 800 0.0006 nan 0.1000 -0.0000
## 820 0.0005 nan 0.1000 -0.0000
## 840 0.0005 nan 0.1000 0.0000
## 860 0.0004 nan 0.1000 -0.0000
## 880 0.0004 nan 0.1000 0.0000
## 900 0.0003 nan 0.1000 -0.0000
## 920 0.0003 nan 0.1000 -0.0000
## 940 0.0003 nan 0.1000 -0.0000
## 960 0.0002 nan 0.1000 -0.0000
## 980 0.0002 nan 0.1000 0.0000
## 1000 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1371 nan 0.1000 0.2935
## 2 2.8570 nan 0.1000 0.2756
## 3 2.5895 nan 0.1000 0.2349
## 4 2.3426 nan 0.1000 0.2117
## 5 2.1113 nan 0.1000 0.1501
## 6 1.9322 nan 0.1000 0.0937
## 7 1.7847 nan 0.1000 0.0732
## 8 1.6399 nan 0.1000 0.1180
## 9 1.5236 nan 0.1000 0.0976
## 10 1.4213 nan 0.1000 0.0556
## 20 0.8911 nan 0.1000 -0.0063
## 40 0.4824 nan 0.1000 0.0021
## 60 0.2957 nan 0.1000 -0.0033
## 80 0.2070 nan 0.1000 -0.0069
## 100 0.1448 nan 0.1000 -0.0029
## 120 0.0997 nan 0.1000 -0.0020
## 140 0.0746 nan 0.1000 -0.0014
## 160 0.0569 nan 0.1000 -0.0006
## 180 0.0421 nan 0.1000 -0.0010
## 200 0.0334 nan 0.1000 -0.0007
## 220 0.0274 nan 0.1000 -0.0007
## 240 0.0230 nan 0.1000 -0.0004
## 260 0.0193 nan 0.1000 -0.0001
## 280 0.0157 nan 0.1000 -0.0004
## 300 0.0135 nan 0.1000 -0.0002
## 320 0.0113 nan 0.1000 -0.0002
## 340 0.0097 nan 0.1000 -0.0002
## 360 0.0085 nan 0.1000 -0.0001
## 380 0.0069 nan 0.1000 -0.0001
## 400 0.0060 nan 0.1000 -0.0001
## 420 0.0053 nan 0.1000 -0.0001
## 440 0.0046 nan 0.1000 -0.0000
## 460 0.0039 nan 0.1000 -0.0000
## 480 0.0035 nan 0.1000 -0.0000
## 500 0.0031 nan 0.1000 -0.0001
## 520 0.0026 nan 0.1000 -0.0000
## 540 0.0023 nan 0.1000 -0.0000
## 560 0.0020 nan 0.1000 -0.0000
## 580 0.0019 nan 0.1000 -0.0000
## 600 0.0017 nan 0.1000 -0.0000
## 620 0.0015 nan 0.1000 -0.0000
## 640 0.0013 nan 0.1000 -0.0000
## 660 0.0012 nan 0.1000 -0.0000
## 680 0.0010 nan 0.1000 -0.0000
## 700 0.0009 nan 0.1000 -0.0000
## 720 0.0007 nan 0.1000 -0.0000
## 740 0.0007 nan 0.1000 -0.0000
## 760 0.0006 nan 0.1000 -0.0000
## 780 0.0005 nan 0.1000 -0.0000
## 800 0.0005 nan 0.1000 -0.0000
## 820 0.0005 nan 0.1000 -0.0000
## 840 0.0004 nan 0.1000 -0.0000
## 860 0.0004 nan 0.1000 -0.0000
## 880 0.0003 nan 0.1000 -0.0000
## 900 0.0003 nan 0.1000 -0.0000
## 920 0.0003 nan 0.1000 -0.0000
## 940 0.0002 nan 0.1000 -0.0000
## 960 0.0002 nan 0.1000 -0.0000
## 980 0.0002 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5665 nan 0.0100 0.0295
## 2 3.5335 nan 0.0100 0.0317
## 3 3.5041 nan 0.0100 0.0291
## 4 3.4780 nan 0.0100 0.0265
## 5 3.4503 nan 0.0100 0.0284
## 6 3.4174 nan 0.0100 0.0277
## 7 3.3875 nan 0.0100 0.0249
## 8 3.3612 nan 0.0100 0.0237
## 9 3.3351 nan 0.0100 0.0261
## 10 3.3047 nan 0.0100 0.0252
## 20 3.0629 nan 0.0100 0.0204
## 40 2.6938 nan 0.0100 0.0104
## 60 2.4102 nan 0.0100 0.0105
## 80 2.1836 nan 0.0100 0.0083
## 100 2.0037 nan 0.0100 0.0039
## 120 1.8552 nan 0.0100 0.0027
## 140 1.7362 nan 0.0100 0.0040
## 160 1.6357 nan 0.0100 0.0028
## 180 1.5432 nan 0.0100 -0.0014
## 200 1.4585 nan 0.0100 0.0023
## 220 1.3881 nan 0.0100 0.0015
## 240 1.3224 nan 0.0100 0.0011
## 260 1.2686 nan 0.0100 0.0016
## 280 1.2273 nan 0.0100 -0.0015
## 300 1.1886 nan 0.0100 -0.0001
## 320 1.1540 nan 0.0100 -0.0011
## 340 1.1214 nan 0.0100 0.0002
## 360 1.0938 nan 0.0100 0.0002
## 380 1.0643 nan 0.0100 -0.0005
## 400 1.0431 nan 0.0100 -0.0003
## 420 1.0201 nan 0.0100 -0.0013
## 440 0.9987 nan 0.0100 -0.0007
## 460 0.9796 nan 0.0100 0.0001
## 480 0.9599 nan 0.0100 -0.0006
## 500 0.9430 nan 0.0100 -0.0004
## 520 0.9279 nan 0.0100 -0.0002
## 540 0.9124 nan 0.0100 -0.0001
## 560 0.8971 nan 0.0100 -0.0007
## 580 0.8819 nan 0.0100 -0.0006
## 600 0.8664 nan 0.0100 -0.0025
## 620 0.8527 nan 0.0100 -0.0024
## 640 0.8395 nan 0.0100 -0.0007
## 660 0.8267 nan 0.0100 -0.0007
## 680 0.8147 nan 0.0100 -0.0009
## 700 0.8051 nan 0.0100 -0.0013
## 720 0.7927 nan 0.0100 -0.0001
## 740 0.7791 nan 0.0100 -0.0009
## 760 0.7667 nan 0.0100 -0.0008
## 780 0.7561 nan 0.0100 -0.0008
## 800 0.7450 nan 0.0100 -0.0013
## 820 0.7343 nan 0.0100 -0.0004
## 840 0.7256 nan 0.0100 -0.0018
## 860 0.7159 nan 0.0100 -0.0001
## 880 0.7055 nan 0.0100 -0.0006
## 900 0.6958 nan 0.0100 -0.0007
## 920 0.6888 nan 0.0100 -0.0008
## 940 0.6810 nan 0.0100 -0.0009
## 960 0.6731 nan 0.0100 -0.0008
## 980 0.6650 nan 0.0100 -0.0003
## 1000 0.6574 nan 0.0100 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5474 nan 0.0100 0.0394
## 2 3.4950 nan 0.0100 0.0491
## 3 3.4497 nan 0.0100 0.0326
## 4 3.4152 nan 0.0100 0.0340
## 5 3.3765 nan 0.0100 0.0304
## 6 3.3352 nan 0.0100 0.0350
## 7 3.2934 nan 0.0100 0.0324
## 8 3.2580 nan 0.0100 0.0355
## 9 3.2204 nan 0.0100 0.0300
## 10 3.1861 nan 0.0100 0.0315
## 20 2.8566 nan 0.0100 0.0216
## 40 2.3608 nan 0.0100 0.0183
## 60 1.9894 nan 0.0100 0.0104
## 80 1.7330 nan 0.0100 0.0082
## 100 1.5272 nan 0.0100 0.0051
## 120 1.3457 nan 0.0100 0.0025
## 140 1.2101 nan 0.0100 0.0004
## 160 1.1075 nan 0.0100 0.0010
## 180 1.0201 nan 0.0100 0.0027
## 200 0.9435 nan 0.0100 0.0015
## 220 0.8764 nan 0.0100 0.0026
## 240 0.8168 nan 0.0100 0.0016
## 260 0.7654 nan 0.0100 -0.0013
## 280 0.7225 nan 0.0100 0.0008
## 300 0.6837 nan 0.0100 -0.0004
## 320 0.6459 nan 0.0100 -0.0004
## 340 0.6142 nan 0.0100 -0.0002
## 360 0.5860 nan 0.0100 -0.0008
## 380 0.5564 nan 0.0100 -0.0004
## 400 0.5316 nan 0.0100 0.0001
## 420 0.5082 nan 0.0100 -0.0011
## 440 0.4845 nan 0.0100 0.0001
## 460 0.4648 nan 0.0100 -0.0009
## 480 0.4434 nan 0.0100 -0.0007
## 500 0.4258 nan 0.0100 -0.0007
## 520 0.4083 nan 0.0100 -0.0013
## 540 0.3913 nan 0.0100 -0.0009
## 560 0.3755 nan 0.0100 -0.0012
## 580 0.3624 nan 0.0100 -0.0001
## 600 0.3483 nan 0.0100 -0.0003
## 620 0.3366 nan 0.0100 -0.0002
## 640 0.3236 nan 0.0100 -0.0012
## 660 0.3125 nan 0.0100 -0.0006
## 680 0.3019 nan 0.0100 -0.0003
## 700 0.2908 nan 0.0100 -0.0015
## 720 0.2800 nan 0.0100 -0.0000
## 740 0.2707 nan 0.0100 -0.0007
## 760 0.2623 nan 0.0100 -0.0001
## 780 0.2540 nan 0.0100 -0.0006
## 800 0.2452 nan 0.0100 -0.0011
## 820 0.2384 nan 0.0100 -0.0004
## 840 0.2308 nan 0.0100 -0.0005
## 860 0.2228 nan 0.0100 -0.0008
## 880 0.2159 nan 0.0100 -0.0004
## 900 0.2087 nan 0.0100 -0.0006
## 920 0.2016 nan 0.0100 -0.0003
## 940 0.1954 nan 0.0100 -0.0004
## 960 0.1897 nan 0.0100 -0.0002
## 980 0.1836 nan 0.0100 -0.0001
## 1000 0.1783 nan 0.0100 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5538 nan 0.0100 0.0226
## 2 3.5171 nan 0.0100 0.0272
## 3 3.4771 nan 0.0100 0.0378
## 4 3.4453 nan 0.0100 0.0197
## 5 3.4043 nan 0.0100 0.0360
## 6 3.3657 nan 0.0100 0.0341
## 7 3.3298 nan 0.0100 0.0313
## 8 3.2922 nan 0.0100 0.0369
## 9 3.2592 nan 0.0100 0.0354
## 10 3.2219 nan 0.0100 0.0332
## 20 2.8718 nan 0.0100 0.0283
## 40 2.3406 nan 0.0100 0.0111
## 60 1.9619 nan 0.0100 0.0121
## 80 1.6784 nan 0.0100 0.0137
## 100 1.4502 nan 0.0100 0.0095
## 120 1.2886 nan 0.0100 0.0057
## 140 1.1568 nan 0.0100 -0.0042
## 160 1.0392 nan 0.0100 0.0007
## 180 0.9450 nan 0.0100 0.0008
## 200 0.8631 nan 0.0100 0.0005
## 220 0.8012 nan 0.0100 0.0005
## 240 0.7506 nan 0.0100 -0.0009
## 260 0.7073 nan 0.0100 -0.0009
## 280 0.6623 nan 0.0100 0.0000
## 300 0.6237 nan 0.0100 0.0001
## 320 0.5851 nan 0.0100 -0.0016
## 340 0.5507 nan 0.0100 -0.0015
## 360 0.5205 nan 0.0100 0.0003
## 380 0.4925 nan 0.0100 -0.0004
## 400 0.4658 nan 0.0100 0.0006
## 420 0.4402 nan 0.0100 0.0001
## 440 0.4200 nan 0.0100 -0.0002
## 460 0.3998 nan 0.0100 -0.0003
## 480 0.3823 nan 0.0100 -0.0004
## 500 0.3620 nan 0.0100 -0.0005
## 520 0.3461 nan 0.0100 -0.0011
## 540 0.3300 nan 0.0100 -0.0000
## 560 0.3164 nan 0.0100 -0.0004
## 580 0.3004 nan 0.0100 -0.0004
## 600 0.2860 nan 0.0100 -0.0006
## 620 0.2729 nan 0.0100 -0.0003
## 640 0.2617 nan 0.0100 -0.0004
## 660 0.2515 nan 0.0100 -0.0006
## 680 0.2413 nan 0.0100 -0.0008
## 700 0.2320 nan 0.0100 -0.0006
## 720 0.2221 nan 0.0100 -0.0002
## 740 0.2131 nan 0.0100 -0.0002
## 760 0.2050 nan 0.0100 -0.0006
## 780 0.1965 nan 0.0100 -0.0005
## 800 0.1895 nan 0.0100 -0.0003
## 820 0.1824 nan 0.0100 -0.0005
## 840 0.1756 nan 0.0100 -0.0005
## 860 0.1697 nan 0.0100 -0.0004
## 880 0.1642 nan 0.0100 -0.0004
## 900 0.1590 nan 0.0100 -0.0002
## 920 0.1532 nan 0.0100 -0.0000
## 940 0.1484 nan 0.0100 -0.0004
## 960 0.1428 nan 0.0100 -0.0004
## 980 0.1370 nan 0.0100 -0.0003
## 1000 0.1325 nan 0.0100 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.5510 nan 0.0100 0.0414
## 2 3.5129 nan 0.0100 0.0360
## 3 3.4707 nan 0.0100 0.0398
## 4 3.4306 nan 0.0100 0.0341
## 5 3.3936 nan 0.0100 0.0346
## 6 3.3562 nan 0.0100 0.0295
## 7 3.3135 nan 0.0100 0.0394
## 8 3.2709 nan 0.0100 0.0441
## 9 3.2356 nan 0.0100 0.0308
## 10 3.2010 nan 0.0100 0.0359
## 20 2.8631 nan 0.0100 0.0322
## 40 2.3089 nan 0.0100 0.0161
## 60 1.9177 nan 0.0100 0.0117
## 80 1.6392 nan 0.0100 0.0080
## 100 1.4207 nan 0.0100 0.0036
## 120 1.2583 nan 0.0100 0.0041
## 140 1.1308 nan 0.0100 -0.0002
## 160 1.0228 nan 0.0100 0.0025
## 180 0.9396 nan 0.0100 0.0024
## 200 0.8740 nan 0.0100 0.0002
## 220 0.8062 nan 0.0100 -0.0005
## 240 0.7483 nan 0.0100 0.0013
## 260 0.6995 nan 0.0100 -0.0015
## 280 0.6548 nan 0.0100 -0.0002
## 300 0.6165 nan 0.0100 0.0000
## 320 0.5798 nan 0.0100 -0.0009
## 340 0.5441 nan 0.0100 -0.0008
## 360 0.5124 nan 0.0100 0.0003
## 380 0.4838 nan 0.0100 -0.0012
## 400 0.4575 nan 0.0100 -0.0012
## 420 0.4365 nan 0.0100 -0.0013
## 440 0.4137 nan 0.0100 -0.0003
## 460 0.3917 nan 0.0100 -0.0012
## 480 0.3724 nan 0.0100 -0.0004
## 500 0.3552 nan 0.0100 -0.0007
## 520 0.3379 nan 0.0100 -0.0003
## 540 0.3229 nan 0.0100 -0.0007
## 560 0.3087 nan 0.0100 -0.0006
## 580 0.2957 nan 0.0100 -0.0004
## 600 0.2814 nan 0.0100 -0.0007
## 620 0.2692 nan 0.0100 -0.0004
## 640 0.2585 nan 0.0100 -0.0010
## 660 0.2485 nan 0.0100 -0.0002
## 680 0.2367 nan 0.0100 -0.0001
## 700 0.2272 nan 0.0100 0.0001
## 720 0.2171 nan 0.0100 -0.0006
## 740 0.2082 nan 0.0100 -0.0005
## 760 0.1991 nan 0.0100 -0.0004
## 780 0.1915 nan 0.0100 -0.0001
## 800 0.1835 nan 0.0100 -0.0004
## 820 0.1761 nan 0.0100 -0.0008
## 840 0.1689 nan 0.0100 -0.0003
## 860 0.1623 nan 0.0100 -0.0005
## 880 0.1562 nan 0.0100 -0.0003
## 900 0.1502 nan 0.0100 -0.0004
## 920 0.1447 nan 0.0100 -0.0003
## 940 0.1387 nan 0.0100 -0.0001
## 960 0.1341 nan 0.0100 -0.0006
## 980 0.1284 nan 0.0100 -0.0002
## 1000 0.1236 nan 0.0100 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3313 nan 0.1000 0.2924
## 2 3.0554 nan 0.1000 0.2437
## 3 2.8362 nan 0.1000 0.2116
## 4 2.6685 nan 0.1000 0.1147
## 5 2.5143 nan 0.1000 0.1421
## 6 2.3912 nan 0.1000 0.1179
## 7 2.2596 nan 0.1000 0.1052
## 8 2.1400 nan 0.1000 0.0487
## 9 2.0700 nan 0.1000 0.0039
## 10 1.9846 nan 0.1000 0.0693
## 20 1.4400 nan 0.1000 0.0207
## 40 1.0484 nan 0.1000 0.0077
## 60 0.8629 nan 0.1000 -0.0018
## 80 0.7629 nan 0.1000 -0.0110
## 100 0.6661 nan 0.1000 -0.0124
## 120 0.5918 nan 0.1000 -0.0101
## 140 0.5144 nan 0.1000 -0.0052
## 160 0.4581 nan 0.1000 -0.0069
## 180 0.4245 nan 0.1000 -0.0054
## 200 0.3860 nan 0.1000 -0.0049
## 220 0.3591 nan 0.1000 -0.0068
## 240 0.3319 nan 0.1000 -0.0015
## 260 0.3100 nan 0.1000 -0.0034
## 280 0.2883 nan 0.1000 -0.0010
## 300 0.2669 nan 0.1000 -0.0025
## 320 0.2448 nan 0.1000 -0.0029
## 340 0.2250 nan 0.1000 -0.0040
## 360 0.2105 nan 0.1000 -0.0032
## 380 0.1945 nan 0.1000 -0.0032
## 400 0.1805 nan 0.1000 -0.0022
## 420 0.1685 nan 0.1000 -0.0032
## 440 0.1594 nan 0.1000 -0.0013
## 460 0.1507 nan 0.1000 -0.0028
## 480 0.1439 nan 0.1000 -0.0031
## 500 0.1344 nan 0.1000 -0.0012
## 520 0.1285 nan 0.1000 -0.0017
## 540 0.1236 nan 0.1000 -0.0024
## 560 0.1154 nan 0.1000 -0.0017
## 580 0.1071 nan 0.1000 -0.0015
## 600 0.1021 nan 0.1000 -0.0011
## 620 0.0965 nan 0.1000 -0.0012
## 640 0.0909 nan 0.1000 -0.0016
## 660 0.0852 nan 0.1000 -0.0007
## 680 0.0794 nan 0.1000 -0.0008
## 700 0.0751 nan 0.1000 -0.0006
## 720 0.0718 nan 0.1000 -0.0013
## 740 0.0679 nan 0.1000 -0.0008
## 760 0.0638 nan 0.1000 -0.0016
## 780 0.0602 nan 0.1000 -0.0006
## 800 0.0562 nan 0.1000 -0.0005
## 820 0.0535 nan 0.1000 -0.0005
## 840 0.0506 nan 0.1000 -0.0008
## 860 0.0480 nan 0.1000 -0.0006
## 880 0.0454 nan 0.1000 -0.0004
## 900 0.0437 nan 0.1000 -0.0003
## 920 0.0410 nan 0.1000 -0.0005
## 940 0.0386 nan 0.1000 -0.0014
## 960 0.0368 nan 0.1000 -0.0004
## 980 0.0348 nan 0.1000 -0.0004
## 1000 0.0332 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1931 nan 0.1000 0.3839
## 2 2.9009 nan 0.1000 0.2420
## 3 2.6306 nan 0.1000 0.2723
## 4 2.3804 nan 0.1000 0.2304
## 5 2.1641 nan 0.1000 0.1387
## 6 1.9745 nan 0.1000 0.1434
## 7 1.8017 nan 0.1000 0.1356
## 8 1.6545 nan 0.1000 0.0822
## 9 1.5730 nan 0.1000 -0.0269
## 10 1.4550 nan 0.1000 0.0997
## 20 0.9525 nan 0.1000 -0.0060
## 40 0.5766 nan 0.1000 -0.0050
## 60 0.3780 nan 0.1000 -0.0087
## 80 0.2521 nan 0.1000 -0.0019
## 100 0.1804 nan 0.1000 -0.0030
## 120 0.1352 nan 0.1000 0.0011
## 140 0.1060 nan 0.1000 -0.0016
## 160 0.0873 nan 0.1000 -0.0018
## 180 0.0686 nan 0.1000 -0.0004
## 200 0.0553 nan 0.1000 -0.0008
## 220 0.0462 nan 0.1000 -0.0013
## 240 0.0390 nan 0.1000 -0.0009
## 260 0.0327 nan 0.1000 0.0001
## 280 0.0292 nan 0.1000 -0.0007
## 300 0.0238 nan 0.1000 -0.0004
## 320 0.0202 nan 0.1000 -0.0001
## 340 0.0180 nan 0.1000 -0.0004
## 360 0.0151 nan 0.1000 -0.0002
## 380 0.0134 nan 0.1000 -0.0002
## 400 0.0118 nan 0.1000 -0.0004
## 420 0.0106 nan 0.1000 -0.0003
## 440 0.0095 nan 0.1000 -0.0002
## 460 0.0081 nan 0.1000 -0.0001
## 480 0.0072 nan 0.1000 -0.0001
## 500 0.0063 nan 0.1000 -0.0001
## 520 0.0054 nan 0.1000 -0.0001
## 540 0.0046 nan 0.1000 0.0000
## 560 0.0040 nan 0.1000 -0.0001
## 580 0.0034 nan 0.1000 -0.0001
## 600 0.0031 nan 0.1000 -0.0001
## 620 0.0026 nan 0.1000 -0.0001
## 640 0.0023 nan 0.1000 -0.0001
## 660 0.0020 nan 0.1000 -0.0000
## 680 0.0018 nan 0.1000 -0.0000
## 700 0.0016 nan 0.1000 -0.0000
## 720 0.0014 nan 0.1000 -0.0000
## 740 0.0012 nan 0.1000 -0.0000
## 760 0.0011 nan 0.1000 -0.0000
## 780 0.0010 nan 0.1000 -0.0000
## 800 0.0009 nan 0.1000 -0.0000
## 820 0.0008 nan 0.1000 -0.0000
## 840 0.0007 nan 0.1000 -0.0000
## 860 0.0006 nan 0.1000 -0.0000
## 880 0.0005 nan 0.1000 -0.0000
## 900 0.0004 nan 0.1000 -0.0000
## 920 0.0004 nan 0.1000 -0.0000
## 940 0.0003 nan 0.1000 -0.0000
## 960 0.0003 nan 0.1000 -0.0000
## 980 0.0002 nan 0.1000 -0.0000
## 1000 0.0002 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1535 nan 0.1000 0.4026
## 2 2.8785 nan 0.1000 0.2633
## 3 2.6433 nan 0.1000 0.1961
## 4 2.4109 nan 0.1000 0.1420
## 5 2.1959 nan 0.1000 0.0952
## 6 1.9703 nan 0.1000 0.1954
## 7 1.8258 nan 0.1000 0.0761
## 8 1.6776 nan 0.1000 0.1054
## 9 1.5797 nan 0.1000 0.0989
## 10 1.4840 nan 0.1000 0.0429
## 20 0.8605 nan 0.1000 0.0115
## 40 0.4782 nan 0.1000 -0.0047
## 60 0.3068 nan 0.1000 -0.0126
## 80 0.2108 nan 0.1000 -0.0011
## 100 0.1431 nan 0.1000 -0.0015
## 120 0.0987 nan 0.1000 -0.0014
## 140 0.0663 nan 0.1000 -0.0008
## 160 0.0471 nan 0.1000 -0.0011
## 180 0.0346 nan 0.1000 -0.0007
## 200 0.0273 nan 0.1000 -0.0003
## 220 0.0206 nan 0.1000 -0.0004
## 240 0.0167 nan 0.1000 -0.0005
## 260 0.0141 nan 0.1000 -0.0002
## 280 0.0120 nan 0.1000 -0.0002
## 300 0.0101 nan 0.1000 -0.0002
## 320 0.0084 nan 0.1000 -0.0003
## 340 0.0069 nan 0.1000 -0.0001
## 360 0.0059 nan 0.1000 -0.0000
## 380 0.0051 nan 0.1000 -0.0001
## 400 0.0045 nan 0.1000 -0.0001
## 420 0.0039 nan 0.1000 -0.0001
## 440 0.0035 nan 0.1000 -0.0001
## 460 0.0030 nan 0.1000 -0.0000
## 480 0.0025 nan 0.1000 -0.0000
## 500 0.0021 nan 0.1000 -0.0000
## 520 0.0018 nan 0.1000 -0.0000
## 540 0.0016 nan 0.1000 -0.0000
## 560 0.0014 nan 0.1000 -0.0000
## 580 0.0012 nan 0.1000 -0.0000
## 600 0.0011 nan 0.1000 -0.0000
## 620 0.0010 nan 0.1000 -0.0000
## 640 0.0008 nan 0.1000 -0.0000
## 660 0.0008 nan 0.1000 -0.0000
## 680 0.0006 nan 0.1000 -0.0000
## 700 0.0006 nan 0.1000 -0.0000
## 720 0.0005 nan 0.1000 -0.0000
## 740 0.0005 nan 0.1000 -0.0000
## 760 0.0004 nan 0.1000 -0.0000
## 780 0.0004 nan 0.1000 -0.0000
## 800 0.0003 nan 0.1000 -0.0000
## 820 0.0003 nan 0.1000 -0.0000
## 840 0.0003 nan 0.1000 -0.0000
## 860 0.0002 nan 0.1000 -0.0000
## 880 0.0002 nan 0.1000 -0.0000
## 900 0.0002 nan 0.1000 -0.0000
## 920 0.0002 nan 0.1000 -0.0000
## 940 0.0002 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2575 nan 0.1000 0.2877
## 2 2.9348 nan 0.1000 0.2463
## 3 2.6028 nan 0.1000 0.2175
## 4 2.3590 nan 0.1000 0.1722
## 5 2.1404 nan 0.1000 0.1953
## 6 1.9375 nan 0.1000 0.1515
## 7 1.7763 nan 0.1000 0.1150
## 8 1.6231 nan 0.1000 0.0619
## 9 1.5436 nan 0.1000 0.0442
## 10 1.4779 nan 0.1000 0.0452
## 20 0.9338 nan 0.1000 0.0292
## 40 0.4937 nan 0.1000 0.0042
## 60 0.3144 nan 0.1000 -0.0067
## 80 0.2134 nan 0.1000 -0.0014
## 100 0.1535 nan 0.1000 -0.0068
## 120 0.1132 nan 0.1000 -0.0003
## 140 0.0812 nan 0.1000 -0.0014
## 160 0.0585 nan 0.1000 0.0000
## 180 0.0443 nan 0.1000 -0.0008
## 200 0.0374 nan 0.1000 -0.0011
## 220 0.0309 nan 0.1000 -0.0003
## 240 0.0246 nan 0.1000 -0.0006
## 260 0.0197 nan 0.1000 -0.0004
## 280 0.0159 nan 0.1000 -0.0002
## 300 0.0129 nan 0.1000 -0.0001
## 320 0.0113 nan 0.1000 -0.0001
## 340 0.0096 nan 0.1000 0.0000
## 360 0.0087 nan 0.1000 -0.0001
## 380 0.0072 nan 0.1000 -0.0002
## 400 0.0061 nan 0.1000 -0.0000
## 420 0.0052 nan 0.1000 -0.0001
## 440 0.0045 nan 0.1000 -0.0001
## 460 0.0040 nan 0.1000 -0.0001
## 480 0.0035 nan 0.1000 -0.0001
## 500 0.0028 nan 0.1000 -0.0000
## 520 0.0024 nan 0.1000 0.0000
## 540 0.0022 nan 0.1000 -0.0000
## 560 0.0019 nan 0.1000 -0.0000
## 580 0.0016 nan 0.1000 -0.0000
## 600 0.0015 nan 0.1000 -0.0000
## 620 0.0012 nan 0.1000 -0.0000
## 640 0.0010 nan 0.1000 -0.0000
## 660 0.0009 nan 0.1000 -0.0000
## 680 0.0008 nan 0.1000 -0.0000
## 700 0.0007 nan 0.1000 -0.0000
## 720 0.0006 nan 0.1000 -0.0000
## 740 0.0005 nan 0.1000 -0.0000
## 760 0.0005 nan 0.1000 -0.0000
## 780 0.0004 nan 0.1000 -0.0000
## 800 0.0004 nan 0.1000 -0.0000
## 820 0.0004 nan 0.1000 -0.0000
## 840 0.0003 nan 0.1000 -0.0000
## 860 0.0003 nan 0.1000 -0.0000
## 880 0.0002 nan 0.1000 -0.0000
## 900 0.0002 nan 0.1000 -0.0000
## 920 0.0002 nan 0.1000 -0.0000
## 940 0.0002 nan 0.1000 0.0000
## 960 0.0002 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.6346 nan 0.0100 0.0309
## 2 3.6067 nan 0.0100 0.0303
## 3 3.5801 nan 0.0100 0.0278
## 4 3.5457 nan 0.0100 0.0302
## 5 3.5199 nan 0.0100 0.0252
## 6 3.4913 nan 0.0100 0.0274
## 7 3.4656 nan 0.0100 0.0222
## 8 3.4379 nan 0.0100 0.0273
## 9 3.4130 nan 0.0100 0.0279
## 10 3.3822 nan 0.0100 0.0272
## 20 3.1354 nan 0.0100 0.0111
## 40 2.7651 nan 0.0100 0.0071
## 60 2.4711 nan 0.0100 0.0111
## 80 2.2410 nan 0.0100 0.0043
## 100 2.0568 nan 0.0100 0.0042
## 120 1.9019 nan 0.0100 0.0061
## 140 1.7719 nan 0.0100 0.0053
## 160 1.6599 nan 0.0100 0.0039
## 180 1.5698 nan 0.0100 0.0015
## 200 1.4904 nan 0.0100 0.0013
## 220 1.4237 nan 0.0100 -0.0001
## 240 1.3679 nan 0.0100 0.0001
## 260 1.3197 nan 0.0100 -0.0002
## 280 1.2679 nan 0.0100 -0.0012
## 300 1.2279 nan 0.0100 0.0007
## 320 1.1851 nan 0.0100 -0.0013
## 340 1.1524 nan 0.0100 -0.0005
## 360 1.1235 nan 0.0100 0.0004
## 380 1.0957 nan 0.0100 -0.0003
## 400 1.0681 nan 0.0100 -0.0003
## 420 1.0453 nan 0.0100 -0.0019
## 440 1.0197 nan 0.0100 -0.0009
## 460 0.9986 nan 0.0100 -0.0006
## 480 0.9794 nan 0.0100 -0.0005
## 500 0.9613 nan 0.0100 -0.0012
## 520 0.9433 nan 0.0100 -0.0002
## 540 0.9270 nan 0.0100 -0.0018
## 560 0.9105 nan 0.0100 -0.0005
## 580 0.8944 nan 0.0100 -0.0010
## 600 0.8803 nan 0.0100 -0.0013
## 620 0.8650 nan 0.0100 -0.0010
## 640 0.8503 nan 0.0100 -0.0005
## 660 0.8377 nan 0.0100 -0.0003
## 680 0.8263 nan 0.0100 -0.0007
## 700 0.8139 nan 0.0100 -0.0001
## 720 0.8026 nan 0.0100 -0.0008
## 740 0.7923 nan 0.0100 -0.0010
## 760 0.7802 nan 0.0100 -0.0003
## 780 0.7689 nan 0.0100 -0.0002
## 800 0.7564 nan 0.0100 -0.0013
## 820 0.7451 nan 0.0100 -0.0005
## 840 0.7367 nan 0.0100 -0.0008
## 860 0.7247 nan 0.0100 -0.0011
## 880 0.7146 nan 0.0100 -0.0002
## 900 0.7061 nan 0.0100 -0.0006
## 920 0.6957 nan 0.0100 -0.0003
## 940 0.6879 nan 0.0100 -0.0011
## 960 0.6778 nan 0.0100 -0.0005
## 980 0.6699 nan 0.0100 -0.0004
## 1000 0.6631 nan 0.0100 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.6188 nan 0.0100 0.0396
## 2 3.5721 nan 0.0100 0.0340
## 3 3.5307 nan 0.0100 0.0434
## 4 3.4887 nan 0.0100 0.0331
## 5 3.4442 nan 0.0100 0.0317
## 6 3.4018 nan 0.0100 0.0326
## 7 3.3645 nan 0.0100 0.0285
## 8 3.3230 nan 0.0100 0.0256
## 9 3.2869 nan 0.0100 0.0308
## 10 3.2528 nan 0.0100 0.0237
## 20 2.9396 nan 0.0100 0.0173
## 40 2.4118 nan 0.0100 0.0178
## 60 2.0318 nan 0.0100 0.0122
## 80 1.7578 nan 0.0100 0.0062
## 100 1.5398 nan 0.0100 0.0058
## 120 1.3943 nan 0.0100 0.0026
## 140 1.2626 nan 0.0100 0.0021
## 160 1.1506 nan 0.0100 0.0014
## 180 1.0547 nan 0.0100 0.0009
## 200 0.9741 nan 0.0100 0.0013
## 220 0.9060 nan 0.0100 0.0003
## 240 0.8541 nan 0.0100 -0.0016
## 260 0.8039 nan 0.0100 -0.0008
## 280 0.7602 nan 0.0100 -0.0010
## 300 0.7165 nan 0.0100 -0.0012
## 320 0.6767 nan 0.0100 -0.0005
## 340 0.6407 nan 0.0100 -0.0001
## 360 0.6110 nan 0.0100 -0.0001
## 380 0.5798 nan 0.0100 0.0001
## 400 0.5543 nan 0.0100 -0.0006
## 420 0.5298 nan 0.0100 -0.0009
## 440 0.5051 nan 0.0100 -0.0006
## 460 0.4820 nan 0.0100 -0.0004
## 480 0.4610 nan 0.0100 -0.0003
## 500 0.4398 nan 0.0100 -0.0006
## 520 0.4205 nan 0.0100 -0.0003
## 540 0.4029 nan 0.0100 0.0001
## 560 0.3879 nan 0.0100 -0.0005
## 580 0.3734 nan 0.0100 -0.0008
## 600 0.3587 nan 0.0100 -0.0007
## 620 0.3438 nan 0.0100 -0.0005
## 640 0.3302 nan 0.0100 -0.0006
## 660 0.3185 nan 0.0100 -0.0008
## 680 0.3088 nan 0.0100 -0.0011
## 700 0.2977 nan 0.0100 -0.0010
## 720 0.2865 nan 0.0100 0.0002
## 740 0.2754 nan 0.0100 -0.0007
## 760 0.2667 nan 0.0100 -0.0002
## 780 0.2585 nan 0.0100 -0.0003
## 800 0.2502 nan 0.0100 -0.0003
## 820 0.2415 nan 0.0100 -0.0002
## 840 0.2325 nan 0.0100 -0.0008
## 860 0.2244 nan 0.0100 -0.0006
## 880 0.2171 nan 0.0100 -0.0008
## 900 0.2095 nan 0.0100 -0.0002
## 920 0.2028 nan 0.0100 -0.0004
## 940 0.1968 nan 0.0100 -0.0004
## 960 0.1898 nan 0.0100 -0.0005
## 980 0.1833 nan 0.0100 0.0000
## 1000 0.1774 nan 0.0100 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.6252 nan 0.0100 0.0303
## 2 3.5861 nan 0.0100 0.0339
## 3 3.5506 nan 0.0100 0.0205
## 4 3.5082 nan 0.0100 0.0364
## 5 3.4665 nan 0.0100 0.0314
## 6 3.4220 nan 0.0100 0.0302
## 7 3.3805 nan 0.0100 0.0291
## 8 3.3451 nan 0.0100 0.0219
## 9 3.3062 nan 0.0100 0.0274
## 10 3.2676 nan 0.0100 0.0276
## 20 2.9267 nan 0.0100 0.0306
## 40 2.3971 nan 0.0100 0.0159
## 60 2.0041 nan 0.0100 0.0118
## 80 1.7196 nan 0.0100 0.0073
## 100 1.5017 nan 0.0100 0.0083
## 120 1.3448 nan 0.0100 0.0054
## 140 1.2080 nan 0.0100 0.0053
## 160 1.1016 nan 0.0100 0.0009
## 180 1.0018 nan 0.0100 -0.0033
## 200 0.9220 nan 0.0100 0.0001
## 220 0.8517 nan 0.0100 0.0002
## 240 0.7927 nan 0.0100 -0.0007
## 260 0.7343 nan 0.0100 -0.0006
## 280 0.6898 nan 0.0100 0.0002
## 300 0.6407 nan 0.0100 0.0001
## 320 0.6048 nan 0.0100 -0.0007
## 340 0.5701 nan 0.0100 -0.0009
## 360 0.5373 nan 0.0100 -0.0006
## 380 0.5053 nan 0.0100 0.0002
## 400 0.4805 nan 0.0100 -0.0005
## 420 0.4573 nan 0.0100 -0.0007
## 440 0.4339 nan 0.0100 0.0007
## 460 0.4113 nan 0.0100 -0.0008
## 480 0.3924 nan 0.0100 -0.0001
## 500 0.3723 nan 0.0100 -0.0006
## 520 0.3550 nan 0.0100 0.0003
## 540 0.3376 nan 0.0100 -0.0001
## 560 0.3231 nan 0.0100 -0.0008
## 580 0.3091 nan 0.0100 -0.0003
## 600 0.2960 nan 0.0100 -0.0007
## 620 0.2817 nan 0.0100 -0.0005
## 640 0.2694 nan 0.0100 -0.0003
## 660 0.2592 nan 0.0100 -0.0002
## 680 0.2479 nan 0.0100 0.0000
## 700 0.2371 nan 0.0100 0.0002
## 720 0.2268 nan 0.0100 -0.0005
## 740 0.2163 nan 0.0100 0.0001
## 760 0.2072 nan 0.0100 -0.0005
## 780 0.1989 nan 0.0100 -0.0004
## 800 0.1915 nan 0.0100 -0.0006
## 820 0.1835 nan 0.0100 -0.0003
## 840 0.1768 nan 0.0100 -0.0002
## 860 0.1704 nan 0.0100 -0.0002
## 880 0.1637 nan 0.0100 -0.0002
## 900 0.1566 nan 0.0100 -0.0002
## 920 0.1505 nan 0.0100 0.0000
## 940 0.1444 nan 0.0100 -0.0004
## 960 0.1398 nan 0.0100 -0.0003
## 980 0.1345 nan 0.0100 -0.0003
## 1000 0.1298 nan 0.0100 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.6212 nan 0.0100 0.0386
## 2 3.5772 nan 0.0100 0.0411
## 3 3.5420 nan 0.0100 0.0316
## 4 3.4954 nan 0.0100 0.0425
## 5 3.4544 nan 0.0100 0.0394
## 6 3.4115 nan 0.0100 0.0345
## 7 3.3672 nan 0.0100 0.0317
## 8 3.3249 nan 0.0100 0.0307
## 9 3.2846 nan 0.0100 0.0365
## 10 3.2516 nan 0.0100 0.0268
## 20 2.9061 nan 0.0100 0.0270
## 40 2.3632 nan 0.0100 0.0127
## 60 1.9852 nan 0.0100 0.0084
## 80 1.6869 nan 0.0100 0.0076
## 100 1.4686 nan 0.0100 -0.0001
## 120 1.2991 nan 0.0100 0.0026
## 140 1.1589 nan 0.0100 0.0021
## 160 1.0406 nan 0.0100 0.0028
## 180 0.9504 nan 0.0100 0.0017
## 200 0.8720 nan 0.0100 0.0003
## 220 0.8001 nan 0.0100 0.0018
## 240 0.7450 nan 0.0100 0.0006
## 260 0.6984 nan 0.0100 -0.0002
## 280 0.6539 nan 0.0100 -0.0017
## 300 0.6144 nan 0.0100 0.0007
## 320 0.5787 nan 0.0100 -0.0010
## 340 0.5479 nan 0.0100 -0.0014
## 360 0.5120 nan 0.0100 -0.0004
## 380 0.4831 nan 0.0100 -0.0008
## 400 0.4572 nan 0.0100 -0.0007
## 420 0.4339 nan 0.0100 -0.0002
## 440 0.4122 nan 0.0100 -0.0000
## 460 0.3898 nan 0.0100 -0.0007
## 480 0.3689 nan 0.0100 -0.0002
## 500 0.3504 nan 0.0100 -0.0008
## 520 0.3332 nan 0.0100 -0.0002
## 540 0.3187 nan 0.0100 -0.0008
## 560 0.3041 nan 0.0100 -0.0009
## 580 0.2892 nan 0.0100 -0.0002
## 600 0.2757 nan 0.0100 -0.0005
## 620 0.2634 nan 0.0100 0.0001
## 640 0.2521 nan 0.0100 0.0002
## 660 0.2402 nan 0.0100 -0.0006
## 680 0.2290 nan 0.0100 -0.0004
## 700 0.2205 nan 0.0100 -0.0006
## 720 0.2117 nan 0.0100 -0.0006
## 740 0.2030 nan 0.0100 -0.0002
## 760 0.1967 nan 0.0100 -0.0005
## 780 0.1883 nan 0.0100 -0.0004
## 800 0.1831 nan 0.0100 -0.0004
## 820 0.1764 nan 0.0100 -0.0006
## 840 0.1695 nan 0.0100 -0.0000
## 860 0.1645 nan 0.0100 -0.0000
## 880 0.1575 nan 0.0100 -0.0004
## 900 0.1524 nan 0.0100 -0.0006
## 920 0.1471 nan 0.0100 -0.0002
## 940 0.1415 nan 0.0100 -0.0003
## 960 0.1356 nan 0.0100 -0.0002
## 980 0.1310 nan 0.0100 -0.0002
## 1000 0.1268 nan 0.0100 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.3918 nan 0.1000 0.2809
## 2 3.1446 nan 0.1000 0.2472
## 3 2.9428 nan 0.1000 0.1875
## 4 2.7973 nan 0.1000 0.1166
## 5 2.6130 nan 0.1000 0.1451
## 6 2.4673 nan 0.1000 0.1094
## 7 2.3461 nan 0.1000 0.0618
## 8 2.2600 nan 0.1000 0.0574
## 9 2.1388 nan 0.1000 0.0677
## 10 2.0611 nan 0.1000 0.0639
## 20 1.4975 nan 0.1000 0.0290
## 40 1.1178 nan 0.1000 0.0056
## 60 0.9203 nan 0.1000 -0.0155
## 80 0.7961 nan 0.1000 -0.0082
## 100 0.7029 nan 0.1000 0.0004
## 120 0.6291 nan 0.1000 -0.0078
## 140 0.5707 nan 0.1000 -0.0026
## 160 0.5226 nan 0.1000 -0.0103
## 180 0.4746 nan 0.1000 -0.0072
## 200 0.4296 nan 0.1000 -0.0013
## 220 0.3964 nan 0.1000 -0.0016
## 240 0.3693 nan 0.1000 -0.0040
## 260 0.3436 nan 0.1000 -0.0038
## 280 0.3221 nan 0.1000 -0.0054
## 300 0.3010 nan 0.1000 -0.0033
## 320 0.2893 nan 0.1000 -0.0033
## 340 0.2666 nan 0.1000 -0.0052
## 360 0.2495 nan 0.1000 -0.0041
## 380 0.2379 nan 0.1000 -0.0022
## 400 0.2234 nan 0.1000 -0.0031
## 420 0.2095 nan 0.1000 -0.0031
## 440 0.1973 nan 0.1000 -0.0024
## 460 0.1839 nan 0.1000 -0.0041
## 480 0.1714 nan 0.1000 -0.0032
## 500 0.1608 nan 0.1000 -0.0021
## 520 0.1507 nan 0.1000 -0.0027
## 540 0.1437 nan 0.1000 -0.0013
## 560 0.1372 nan 0.1000 -0.0022
## 580 0.1285 nan 0.1000 -0.0026
## 600 0.1206 nan 0.1000 -0.0022
## 620 0.1136 nan 0.1000 -0.0016
## 640 0.1081 nan 0.1000 -0.0004
## 660 0.1025 nan 0.1000 -0.0012
## 680 0.0980 nan 0.1000 -0.0016
## 700 0.0929 nan 0.1000 -0.0016
## 720 0.0884 nan 0.1000 -0.0019
## 740 0.0837 nan 0.1000 -0.0011
## 760 0.0791 nan 0.1000 -0.0009
## 780 0.0755 nan 0.1000 -0.0007
## 800 0.0724 nan 0.1000 -0.0007
## 820 0.0689 nan 0.1000 -0.0014
## 840 0.0658 nan 0.1000 -0.0008
## 860 0.0632 nan 0.1000 -0.0007
## 880 0.0601 nan 0.1000 -0.0001
## 900 0.0573 nan 0.1000 -0.0008
## 920 0.0539 nan 0.1000 -0.0006
## 940 0.0517 nan 0.1000 -0.0004
## 960 0.0498 nan 0.1000 -0.0004
## 980 0.0481 nan 0.1000 -0.0003
## 1000 0.0452 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2663 nan 0.1000 0.2963
## 2 2.9189 nan 0.1000 0.2690
## 3 2.6222 nan 0.1000 0.2769
## 4 2.3893 nan 0.1000 0.1866
## 5 2.1816 nan 0.1000 0.1777
## 6 2.0404 nan 0.1000 0.0592
## 7 1.8839 nan 0.1000 0.1445
## 8 1.7544 nan 0.1000 0.1083
## 9 1.6284 nan 0.1000 0.0387
## 10 1.5485 nan 0.1000 0.0669
## 20 0.9716 nan 0.1000 0.0163
## 40 0.5505 nan 0.1000 -0.0015
## 60 0.3686 nan 0.1000 -0.0096
## 80 0.2629 nan 0.1000 -0.0093
## 100 0.1805 nan 0.1000 -0.0009
## 120 0.1325 nan 0.1000 -0.0020
## 140 0.0993 nan 0.1000 -0.0025
## 160 0.0766 nan 0.1000 -0.0037
## 180 0.0574 nan 0.1000 -0.0007
## 200 0.0436 nan 0.1000 -0.0005
## 220 0.0349 nan 0.1000 -0.0013
## 240 0.0272 nan 0.1000 -0.0005
## 260 0.0221 nan 0.1000 -0.0002
## 280 0.0185 nan 0.1000 -0.0003
## 300 0.0158 nan 0.1000 -0.0000
## 320 0.0126 nan 0.1000 -0.0001
## 340 0.0104 nan 0.1000 -0.0002
## 360 0.0085 nan 0.1000 -0.0002
## 380 0.0069 nan 0.1000 -0.0001
## 400 0.0059 nan 0.1000 -0.0001
## 420 0.0049 nan 0.1000 -0.0001
## 440 0.0043 nan 0.1000 -0.0001
## 460 0.0038 nan 0.1000 -0.0001
## 480 0.0033 nan 0.1000 -0.0001
## 500 0.0029 nan 0.1000 -0.0001
## 520 0.0026 nan 0.1000 -0.0000
## 540 0.0022 nan 0.1000 -0.0000
## 560 0.0019 nan 0.1000 -0.0000
## 580 0.0016 nan 0.1000 -0.0000
## 600 0.0015 nan 0.1000 -0.0000
## 620 0.0013 nan 0.1000 -0.0000
## 640 0.0012 nan 0.1000 -0.0000
## 660 0.0010 nan 0.1000 -0.0000
## 680 0.0009 nan 0.1000 -0.0000
## 700 0.0008 nan 0.1000 -0.0000
## 720 0.0007 nan 0.1000 -0.0000
## 740 0.0007 nan 0.1000 -0.0000
## 760 0.0006 nan 0.1000 -0.0000
## 780 0.0005 nan 0.1000 -0.0000
## 800 0.0005 nan 0.1000 -0.0000
## 820 0.0004 nan 0.1000 -0.0000
## 840 0.0004 nan 0.1000 -0.0000
## 860 0.0003 nan 0.1000 -0.0000
## 880 0.0003 nan 0.1000 -0.0000
## 900 0.0003 nan 0.1000 -0.0000
## 920 0.0002 nan 0.1000 -0.0000
## 940 0.0002 nan 0.1000 -0.0000
## 960 0.0002 nan 0.1000 -0.0000
## 980 0.0002 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2926 nan 0.1000 0.3477
## 2 2.9128 nan 0.1000 0.3413
## 3 2.5939 nan 0.1000 0.2446
## 4 2.3477 nan 0.1000 0.1631
## 5 2.1160 nan 0.1000 0.1587
## 6 2.0036 nan 0.1000 -0.0184
## 7 1.8484 nan 0.1000 0.0828
## 8 1.7200 nan 0.1000 0.0686
## 9 1.5972 nan 0.1000 0.1065
## 10 1.4951 nan 0.1000 0.0529
## 20 0.8425 nan 0.1000 0.0025
## 40 0.4477 nan 0.1000 0.0050
## 60 0.2894 nan 0.1000 -0.0015
## 80 0.1977 nan 0.1000 -0.0034
## 100 0.1344 nan 0.1000 -0.0031
## 120 0.0974 nan 0.1000 -0.0038
## 140 0.0723 nan 0.1000 -0.0008
## 160 0.0508 nan 0.1000 -0.0012
## 180 0.0402 nan 0.1000 -0.0013
## 200 0.0297 nan 0.1000 -0.0002
## 220 0.0237 nan 0.1000 -0.0005
## 240 0.0194 nan 0.1000 -0.0005
## 260 0.0156 nan 0.1000 -0.0002
## 280 0.0124 nan 0.1000 -0.0002
## 300 0.0104 nan 0.1000 -0.0002
## 320 0.0086 nan 0.1000 -0.0002
## 340 0.0071 nan 0.1000 -0.0002
## 360 0.0058 nan 0.1000 -0.0002
## 380 0.0047 nan 0.1000 -0.0001
## 400 0.0038 nan 0.1000 -0.0001
## 420 0.0034 nan 0.1000 -0.0000
## 440 0.0028 nan 0.1000 -0.0000
## 460 0.0023 nan 0.1000 -0.0000
## 480 0.0019 nan 0.1000 -0.0000
## 500 0.0016 nan 0.1000 -0.0000
## 520 0.0014 nan 0.1000 -0.0000
## 540 0.0012 nan 0.1000 -0.0000
## 560 0.0010 nan 0.1000 -0.0000
## 580 0.0008 nan 0.1000 -0.0000
## 600 0.0007 nan 0.1000 0.0000
## 620 0.0006 nan 0.1000 -0.0000
## 640 0.0006 nan 0.1000 -0.0000
## 660 0.0005 nan 0.1000 -0.0000
## 680 0.0004 nan 0.1000 -0.0000
## 700 0.0004 nan 0.1000 -0.0000
## 720 0.0003 nan 0.1000 -0.0000
## 740 0.0003 nan 0.1000 -0.0000
## 760 0.0002 nan 0.1000 -0.0000
## 780 0.0002 nan 0.1000 -0.0000
## 800 0.0002 nan 0.1000 -0.0000
## 820 0.0002 nan 0.1000 -0.0000
## 840 0.0002 nan 0.1000 -0.0000
## 860 0.0001 nan 0.1000 -0.0000
## 880 0.0001 nan 0.1000 -0.0000
## 900 0.0001 nan 0.1000 -0.0000
## 920 0.0001 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2751 nan 0.1000 0.2762
## 2 2.9407 nan 0.1000 0.2024
## 3 2.6230 nan 0.1000 0.2564
## 4 2.3878 nan 0.1000 0.1780
## 5 2.2357 nan 0.1000 0.1126
## 6 2.0092 nan 0.1000 0.1396
## 7 1.8394 nan 0.1000 0.0990
## 8 1.6938 nan 0.1000 0.0898
## 9 1.5547 nan 0.1000 0.1054
## 10 1.4279 nan 0.1000 0.0466
## 20 0.8855 nan 0.1000 -0.0202
## 40 0.4738 nan 0.1000 -0.0217
## 60 0.2916 nan 0.1000 -0.0064
## 80 0.1893 nan 0.1000 -0.0057
## 100 0.1269 nan 0.1000 -0.0036
## 120 0.0907 nan 0.1000 -0.0009
## 140 0.0651 nan 0.1000 -0.0021
## 160 0.0488 nan 0.1000 -0.0017
## 180 0.0382 nan 0.1000 -0.0011
## 200 0.0279 nan 0.1000 -0.0010
## 220 0.0204 nan 0.1000 -0.0002
## 240 0.0158 nan 0.1000 -0.0003
## 260 0.0120 nan 0.1000 -0.0000
## 280 0.0095 nan 0.1000 -0.0001
## 300 0.0077 nan 0.1000 -0.0000
## 320 0.0064 nan 0.1000 -0.0001
## 340 0.0053 nan 0.1000 -0.0001
## 360 0.0044 nan 0.1000 -0.0001
## 380 0.0036 nan 0.1000 -0.0000
## 400 0.0031 nan 0.1000 -0.0000
## 420 0.0027 nan 0.1000 -0.0000
## 440 0.0024 nan 0.1000 -0.0001
## 460 0.0020 nan 0.1000 -0.0000
## 480 0.0017 nan 0.1000 -0.0000
## 500 0.0014 nan 0.1000 -0.0000
## 520 0.0012 nan 0.1000 -0.0000
## 540 0.0010 nan 0.1000 -0.0000
## 560 0.0010 nan 0.1000 -0.0000
## 580 0.0008 nan 0.1000 -0.0000
## 600 0.0007 nan 0.1000 -0.0000
## 620 0.0007 nan 0.1000 0.0000
## 640 0.0005 nan 0.1000 -0.0000
## 660 0.0005 nan 0.1000 -0.0000
## 680 0.0004 nan 0.1000 0.0000
## 700 0.0004 nan 0.1000 -0.0000
## 720 0.0003 nan 0.1000 -0.0000
## 740 0.0003 nan 0.1000 -0.0000
## 760 0.0003 nan 0.1000 -0.0000
## 780 0.0002 nan 0.1000 -0.0000
## 800 0.0002 nan 0.1000 -0.0000
## 820 0.0002 nan 0.1000 -0.0000
## 840 0.0002 nan 0.1000 -0.0000
## 860 0.0001 nan 0.1000 -0.0000
## 880 0.0001 nan 0.1000 -0.0000
## 900 0.0001 nan 0.1000 -0.0000
## 920 0.0001 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.6628 nan 0.0100 0.0336
## 2 3.6286 nan 0.0100 0.0326
## 3 3.5903 nan 0.0100 0.0320
## 4 3.5574 nan 0.0100 0.0266
## 5 3.5270 nan 0.0100 0.0309
## 6 3.5050 nan 0.0100 0.0189
## 7 3.4728 nan 0.0100 0.0299
## 8 3.4404 nan 0.0100 0.0304
## 9 3.4136 nan 0.0100 0.0273
## 10 3.3819 nan 0.0100 0.0285
## 20 3.1394 nan 0.0100 0.0224
## 40 2.7202 nan 0.0100 0.0134
## 60 2.4260 nan 0.0100 0.0084
## 80 2.1958 nan 0.0100 0.0068
## 100 2.0128 nan 0.0100 0.0034
## 120 1.8744 nan 0.0100 0.0041
## 140 1.7492 nan 0.0100 0.0019
## 160 1.6313 nan 0.0100 0.0023
## 180 1.5434 nan 0.0100 0.0033
## 200 1.4623 nan 0.0100 0.0022
## 220 1.3966 nan 0.0100 0.0010
## 240 1.3334 nan 0.0100 0.0014
## 260 1.2865 nan 0.0100 -0.0006
## 280 1.2434 nan 0.0100 -0.0004
## 300 1.2024 nan 0.0100 -0.0015
## 320 1.1695 nan 0.0100 0.0004
## 340 1.1363 nan 0.0100 0.0002
## 360 1.1049 nan 0.0100 0.0002
## 380 1.0814 nan 0.0100 0.0001
## 400 1.0535 nan 0.0100 -0.0012
## 420 1.0302 nan 0.0100 -0.0008
## 440 1.0080 nan 0.0100 -0.0005
## 460 0.9903 nan 0.0100 -0.0001
## 480 0.9702 nan 0.0100 -0.0003
## 500 0.9523 nan 0.0100 -0.0003
## 520 0.9363 nan 0.0100 -0.0001
## 540 0.9207 nan 0.0100 -0.0014
## 560 0.9051 nan 0.0100 -0.0002
## 580 0.8898 nan 0.0100 -0.0009
## 600 0.8761 nan 0.0100 -0.0009
## 620 0.8639 nan 0.0100 -0.0014
## 640 0.8512 nan 0.0100 -0.0005
## 660 0.8392 nan 0.0100 -0.0012
## 680 0.8287 nan 0.0100 -0.0012
## 700 0.8158 nan 0.0100 -0.0004
## 720 0.8041 nan 0.0100 -0.0006
## 740 0.7943 nan 0.0100 0.0001
## 760 0.7842 nan 0.0100 0.0001
## 780 0.7741 nan 0.0100 -0.0004
## 800 0.7637 nan 0.0100 -0.0004
## 820 0.7531 nan 0.0100 -0.0003
## 840 0.7427 nan 0.0100 -0.0006
## 860 0.7326 nan 0.0100 -0.0017
## 880 0.7224 nan 0.0100 -0.0007
## 900 0.7141 nan 0.0100 -0.0007
## 920 0.7071 nan 0.0100 -0.0007
## 940 0.6982 nan 0.0100 -0.0005
## 960 0.6887 nan 0.0100 -0.0005
## 980 0.6822 nan 0.0100 -0.0013
## 1000 0.6750 nan 0.0100 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.6531 nan 0.0100 0.0408
## 2 3.6087 nan 0.0100 0.0419
## 3 3.5602 nan 0.0100 0.0473
## 4 3.5185 nan 0.0100 0.0368
## 5 3.4803 nan 0.0100 0.0286
## 6 3.4363 nan 0.0100 0.0399
## 7 3.3909 nan 0.0100 0.0387
## 8 3.3601 nan 0.0100 0.0208
## 9 3.3226 nan 0.0100 0.0243
## 10 3.2809 nan 0.0100 0.0298
## 20 2.9499 nan 0.0100 0.0234
## 40 2.4142 nan 0.0100 0.0212
## 60 2.0375 nan 0.0100 0.0144
## 80 1.7504 nan 0.0100 0.0086
## 100 1.5349 nan 0.0100 0.0083
## 120 1.3633 nan 0.0100 0.0047
## 140 1.2334 nan 0.0100 0.0029
## 160 1.1318 nan 0.0100 0.0022
## 180 1.0435 nan 0.0100 0.0011
## 200 0.9624 nan 0.0100 0.0005
## 220 0.8977 nan 0.0100 0.0010
## 240 0.8400 nan 0.0100 -0.0014
## 260 0.7809 nan 0.0100 -0.0005
## 280 0.7418 nan 0.0100 0.0002
## 300 0.7050 nan 0.0100 0.0003
## 320 0.6687 nan 0.0100 -0.0014
## 340 0.6321 nan 0.0100 -0.0000
## 360 0.5986 nan 0.0100 -0.0001
## 380 0.5716 nan 0.0100 -0.0022
## 400 0.5444 nan 0.0100 -0.0007
## 420 0.5195 nan 0.0100 -0.0013
## 440 0.4996 nan 0.0100 -0.0007
## 460 0.4802 nan 0.0100 -0.0002
## 480 0.4604 nan 0.0100 -0.0000
## 500 0.4429 nan 0.0100 -0.0010
## 520 0.4278 nan 0.0100 -0.0003
## 540 0.4081 nan 0.0100 -0.0006
## 560 0.3914 nan 0.0100 -0.0002
## 580 0.3772 nan 0.0100 -0.0007
## 600 0.3648 nan 0.0100 -0.0009
## 620 0.3514 nan 0.0100 -0.0003
## 640 0.3402 nan 0.0100 -0.0006
## 660 0.3272 nan 0.0100 -0.0011
## 680 0.3166 nan 0.0100 -0.0010
## 700 0.3039 nan 0.0100 -0.0007
## 720 0.2941 nan 0.0100 -0.0009
## 740 0.2847 nan 0.0100 0.0002
## 760 0.2743 nan 0.0100 0.0001
## 780 0.2648 nan 0.0100 -0.0003
## 800 0.2549 nan 0.0100 -0.0003
## 820 0.2453 nan 0.0100 -0.0006
## 840 0.2377 nan 0.0100 -0.0001
## 860 0.2291 nan 0.0100 -0.0003
## 880 0.2222 nan 0.0100 -0.0008
## 900 0.2142 nan 0.0100 -0.0005
## 920 0.2083 nan 0.0100 -0.0003
## 940 0.2017 nan 0.0100 -0.0007
## 960 0.1949 nan 0.0100 -0.0001
## 980 0.1879 nan 0.0100 -0.0004
## 1000 0.1810 nan 0.0100 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.6606 nan 0.0100 0.0320
## 2 3.6131 nan 0.0100 0.0473
## 3 3.5670 nan 0.0100 0.0358
## 4 3.5207 nan 0.0100 0.0357
## 5 3.4765 nan 0.0100 0.0355
## 6 3.4317 nan 0.0100 0.0391
## 7 3.3864 nan 0.0100 0.0333
## 8 3.3482 nan 0.0100 0.0251
## 9 3.3090 nan 0.0100 0.0375
## 10 3.2689 nan 0.0100 0.0325
## 20 2.9168 nan 0.0100 0.0315
## 40 2.3590 nan 0.0100 0.0233
## 60 1.9640 nan 0.0100 0.0072
## 80 1.6845 nan 0.0100 0.0100
## 100 1.4593 nan 0.0100 0.0055
## 120 1.2869 nan 0.0100 0.0044
## 140 1.1533 nan 0.0100 0.0040
## 160 1.0479 nan 0.0100 0.0033
## 180 0.9489 nan 0.0100 0.0003
## 200 0.8721 nan 0.0100 0.0023
## 220 0.8065 nan 0.0100 0.0005
## 240 0.7541 nan 0.0100 -0.0002
## 260 0.7030 nan 0.0100 -0.0022
## 280 0.6505 nan 0.0100 0.0004
## 300 0.6139 nan 0.0100 -0.0003
## 320 0.5792 nan 0.0100 -0.0009
## 340 0.5461 nan 0.0100 -0.0024
## 360 0.5151 nan 0.0100 -0.0004
## 380 0.4891 nan 0.0100 -0.0003
## 400 0.4649 nan 0.0100 0.0005
## 420 0.4430 nan 0.0100 -0.0014
## 440 0.4212 nan 0.0100 -0.0007
## 460 0.3995 nan 0.0100 0.0003
## 480 0.3824 nan 0.0100 -0.0011
## 500 0.3645 nan 0.0100 -0.0010
## 520 0.3484 nan 0.0100 -0.0000
## 540 0.3321 nan 0.0100 -0.0005
## 560 0.3152 nan 0.0100 -0.0003
## 580 0.3017 nan 0.0100 -0.0014
## 600 0.2887 nan 0.0100 -0.0004
## 620 0.2771 nan 0.0100 -0.0006
## 640 0.2642 nan 0.0100 -0.0000
## 660 0.2548 nan 0.0100 -0.0003
## 680 0.2437 nan 0.0100 -0.0003
## 700 0.2329 nan 0.0100 -0.0002
## 720 0.2216 nan 0.0100 -0.0009
## 740 0.2135 nan 0.0100 -0.0002
## 760 0.2052 nan 0.0100 -0.0003
## 780 0.1965 nan 0.0100 -0.0002
## 800 0.1880 nan 0.0100 -0.0004
## 820 0.1808 nan 0.0100 0.0003
## 840 0.1738 nan 0.0100 -0.0005
## 860 0.1677 nan 0.0100 -0.0004
## 880 0.1616 nan 0.0100 -0.0006
## 900 0.1548 nan 0.0100 -0.0002
## 920 0.1501 nan 0.0100 -0.0002
## 940 0.1449 nan 0.0100 -0.0003
## 960 0.1401 nan 0.0100 -0.0005
## 980 0.1364 nan 0.0100 -0.0002
## 1000 0.1319 nan 0.0100 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.6498 nan 0.0100 0.0394
## 2 3.6117 nan 0.0100 0.0353
## 3 3.5597 nan 0.0100 0.0487
## 4 3.5158 nan 0.0100 0.0405
## 5 3.4742 nan 0.0100 0.0399
## 6 3.4333 nan 0.0100 0.0334
## 7 3.3943 nan 0.0100 0.0424
## 8 3.3558 nan 0.0100 0.0365
## 9 3.3143 nan 0.0100 0.0368
## 10 3.2751 nan 0.0100 0.0339
## 20 2.9341 nan 0.0100 0.0276
## 40 2.3987 nan 0.0100 0.0156
## 60 1.9984 nan 0.0100 0.0106
## 80 1.7089 nan 0.0100 0.0073
## 100 1.4865 nan 0.0100 0.0020
## 120 1.3219 nan 0.0100 0.0007
## 140 1.1944 nan 0.0100 0.0015
## 160 1.0724 nan 0.0100 0.0022
## 180 0.9855 nan 0.0100 -0.0002
## 200 0.9015 nan 0.0100 0.0006
## 220 0.8382 nan 0.0100 0.0004
## 240 0.7795 nan 0.0100 -0.0001
## 260 0.7315 nan 0.0100 -0.0004
## 280 0.6816 nan 0.0100 -0.0009
## 300 0.6401 nan 0.0100 -0.0001
## 320 0.5986 nan 0.0100 -0.0003
## 340 0.5654 nan 0.0100 -0.0013
## 360 0.5332 nan 0.0100 -0.0003
## 380 0.5028 nan 0.0100 -0.0004
## 400 0.4780 nan 0.0100 -0.0004
## 420 0.4503 nan 0.0100 -0.0000
## 440 0.4282 nan 0.0100 -0.0010
## 460 0.4076 nan 0.0100 -0.0008
## 480 0.3877 nan 0.0100 0.0002
## 500 0.3694 nan 0.0100 -0.0001
## 520 0.3524 nan 0.0100 -0.0004
## 540 0.3332 nan 0.0100 -0.0011
## 560 0.3170 nan 0.0100 -0.0005
## 580 0.3011 nan 0.0100 0.0001
## 600 0.2898 nan 0.0100 -0.0007
## 620 0.2774 nan 0.0100 -0.0001
## 640 0.2659 nan 0.0100 -0.0004
## 660 0.2545 nan 0.0100 -0.0005
## 680 0.2439 nan 0.0100 -0.0008
## 700 0.2320 nan 0.0100 -0.0005
## 720 0.2214 nan 0.0100 -0.0004
## 740 0.2128 nan 0.0100 -0.0001
## 760 0.2031 nan 0.0100 -0.0006
## 780 0.1954 nan 0.0100 -0.0004
## 800 0.1869 nan 0.0100 -0.0001
## 820 0.1790 nan 0.0100 -0.0003
## 840 0.1725 nan 0.0100 -0.0003
## 860 0.1661 nan 0.0100 -0.0004
## 880 0.1597 nan 0.0100 0.0000
## 900 0.1537 nan 0.0100 -0.0002
## 920 0.1477 nan 0.0100 -0.0000
## 940 0.1425 nan 0.0100 -0.0001
## 960 0.1368 nan 0.0100 -0.0001
## 980 0.1320 nan 0.0100 -0.0003
## 1000 0.1273 nan 0.0100 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.4145 nan 0.1000 0.2419
## 2 3.1507 nan 0.1000 0.2344
## 3 2.9263 nan 0.1000 0.2132
## 4 2.7455 nan 0.1000 0.1904
## 5 2.5758 nan 0.1000 0.1158
## 6 2.4120 nan 0.1000 0.0921
## 7 2.2660 nan 0.1000 0.0856
## 8 2.1694 nan 0.1000 0.0682
## 9 2.0627 nan 0.1000 0.0932
## 10 1.9795 nan 0.1000 0.0369
## 20 1.4324 nan 0.1000 0.0161
## 40 1.0926 nan 0.1000 -0.0001
## 60 0.9088 nan 0.1000 -0.0009
## 80 0.8104 nan 0.1000 -0.0060
## 100 0.7230 nan 0.1000 -0.0006
## 120 0.6473 nan 0.1000 -0.0117
## 140 0.5891 nan 0.1000 -0.0006
## 160 0.5319 nan 0.1000 -0.0072
## 180 0.4827 nan 0.1000 -0.0091
## 200 0.4427 nan 0.1000 -0.0045
## 220 0.4095 nan 0.1000 -0.0077
## 240 0.3753 nan 0.1000 -0.0039
## 260 0.3508 nan 0.1000 -0.0034
## 280 0.3244 nan 0.1000 -0.0015
## 300 0.2930 nan 0.1000 -0.0018
## 320 0.2710 nan 0.1000 -0.0018
## 340 0.2491 nan 0.1000 -0.0032
## 360 0.2304 nan 0.1000 -0.0037
## 380 0.2144 nan 0.1000 -0.0052
## 400 0.2006 nan 0.1000 -0.0021
## 420 0.1883 nan 0.1000 -0.0016
## 440 0.1753 nan 0.1000 -0.0022
## 460 0.1647 nan 0.1000 -0.0013
## 480 0.1550 nan 0.1000 -0.0026
## 500 0.1476 nan 0.1000 -0.0017
## 520 0.1375 nan 0.1000 -0.0003
## 540 0.1295 nan 0.1000 -0.0009
## 560 0.1222 nan 0.1000 -0.0013
## 580 0.1154 nan 0.1000 -0.0014
## 600 0.1084 nan 0.1000 -0.0027
## 620 0.1025 nan 0.1000 -0.0015
## 640 0.0960 nan 0.1000 -0.0007
## 660 0.0899 nan 0.1000 -0.0011
## 680 0.0857 nan 0.1000 -0.0006
## 700 0.0811 nan 0.1000 -0.0007
## 720 0.0773 nan 0.1000 -0.0003
## 740 0.0722 nan 0.1000 -0.0010
## 760 0.0681 nan 0.1000 -0.0010
## 780 0.0640 nan 0.1000 -0.0006
## 800 0.0603 nan 0.1000 -0.0004
## 820 0.0573 nan 0.1000 -0.0013
## 840 0.0542 nan 0.1000 -0.0002
## 860 0.0520 nan 0.1000 -0.0006
## 880 0.0501 nan 0.1000 -0.0004
## 900 0.0476 nan 0.1000 -0.0006
## 920 0.0454 nan 0.1000 -0.0006
## 940 0.0434 nan 0.1000 -0.0007
## 960 0.0414 nan 0.1000 -0.0003
## 980 0.0396 nan 0.1000 -0.0006
## 1000 0.0375 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2417 nan 0.1000 0.3086
## 2 2.8480 nan 0.1000 0.2247
## 3 2.5510 nan 0.1000 0.2093
## 4 2.3552 nan 0.1000 0.1123
## 5 2.1771 nan 0.1000 0.1208
## 6 1.9854 nan 0.1000 0.1576
## 7 1.8967 nan 0.1000 0.0576
## 8 1.8218 nan 0.1000 0.0407
## 9 1.6786 nan 0.1000 0.0920
## 10 1.5654 nan 0.1000 0.0959
## 20 0.9837 nan 0.1000 0.0235
## 40 0.6127 nan 0.1000 -0.0103
## 60 0.3889 nan 0.1000 -0.0126
## 80 0.2801 nan 0.1000 -0.0088
## 100 0.2039 nan 0.1000 -0.0018
## 120 0.1588 nan 0.1000 -0.0055
## 140 0.1173 nan 0.1000 -0.0027
## 160 0.0867 nan 0.1000 -0.0026
## 180 0.0680 nan 0.1000 -0.0027
## 200 0.0542 nan 0.1000 -0.0009
## 220 0.0407 nan 0.1000 -0.0017
## 240 0.0315 nan 0.1000 -0.0014
## 260 0.0251 nan 0.1000 -0.0003
## 280 0.0197 nan 0.1000 -0.0004
## 300 0.0158 nan 0.1000 -0.0004
## 320 0.0131 nan 0.1000 -0.0004
## 340 0.0108 nan 0.1000 -0.0004
## 360 0.0086 nan 0.1000 -0.0001
## 380 0.0072 nan 0.1000 -0.0001
## 400 0.0057 nan 0.1000 -0.0001
## 420 0.0049 nan 0.1000 -0.0001
## 440 0.0042 nan 0.1000 -0.0001
## 460 0.0034 nan 0.1000 -0.0001
## 480 0.0029 nan 0.1000 -0.0000
## 500 0.0023 nan 0.1000 -0.0000
## 520 0.0019 nan 0.1000 -0.0000
## 540 0.0016 nan 0.1000 -0.0000
## 560 0.0013 nan 0.1000 -0.0000
## 580 0.0011 nan 0.1000 -0.0000
## 600 0.0009 nan 0.1000 -0.0000
## 620 0.0008 nan 0.1000 -0.0000
## 640 0.0006 nan 0.1000 -0.0000
## 660 0.0005 nan 0.1000 -0.0000
## 680 0.0004 nan 0.1000 -0.0000
## 700 0.0004 nan 0.1000 -0.0000
## 720 0.0003 nan 0.1000 -0.0000
## 740 0.0003 nan 0.1000 -0.0000
## 760 0.0002 nan 0.1000 -0.0000
## 780 0.0002 nan 0.1000 -0.0000
## 800 0.0002 nan 0.1000 -0.0000
## 820 0.0002 nan 0.1000 -0.0000
## 840 0.0001 nan 0.1000 -0.0000
## 860 0.0001 nan 0.1000 -0.0000
## 880 0.0001 nan 0.1000 -0.0000
## 900 0.0001 nan 0.1000 -0.0000
## 920 0.0001 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0000 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2461 nan 0.1000 0.3336
## 2 2.8834 nan 0.1000 0.2464
## 3 2.5890 nan 0.1000 0.2935
## 4 2.3342 nan 0.1000 0.2413
## 5 2.0816 nan 0.1000 0.1655
## 6 1.9046 nan 0.1000 0.0859
## 7 1.7257 nan 0.1000 0.1539
## 8 1.6417 nan 0.1000 0.0520
## 9 1.5127 nan 0.1000 0.0499
## 10 1.4291 nan 0.1000 0.0444
## 20 0.8715 nan 0.1000 0.0107
## 40 0.4603 nan 0.1000 -0.0098
## 60 0.2943 nan 0.1000 -0.0030
## 80 0.1930 nan 0.1000 -0.0015
## 100 0.1400 nan 0.1000 -0.0034
## 120 0.0980 nan 0.1000 -0.0002
## 140 0.0714 nan 0.1000 -0.0012
## 160 0.0549 nan 0.1000 -0.0010
## 180 0.0425 nan 0.1000 -0.0005
## 200 0.0340 nan 0.1000 -0.0007
## 220 0.0262 nan 0.1000 -0.0003
## 240 0.0204 nan 0.1000 -0.0003
## 260 0.0160 nan 0.1000 -0.0003
## 280 0.0134 nan 0.1000 -0.0002
## 300 0.0108 nan 0.1000 -0.0002
## 320 0.0087 nan 0.1000 -0.0002
## 340 0.0073 nan 0.1000 -0.0002
## 360 0.0057 nan 0.1000 -0.0001
## 380 0.0047 nan 0.1000 -0.0001
## 400 0.0039 nan 0.1000 -0.0001
## 420 0.0032 nan 0.1000 -0.0000
## 440 0.0028 nan 0.1000 -0.0000
## 460 0.0024 nan 0.1000 -0.0000
## 480 0.0019 nan 0.1000 -0.0000
## 500 0.0016 nan 0.1000 -0.0000
## 520 0.0014 nan 0.1000 -0.0000
## 540 0.0011 nan 0.1000 -0.0000
## 560 0.0010 nan 0.1000 -0.0000
## 580 0.0008 nan 0.1000 -0.0000
## 600 0.0007 nan 0.1000 -0.0000
## 620 0.0006 nan 0.1000 -0.0000
## 640 0.0005 nan 0.1000 -0.0000
## 660 0.0004 nan 0.1000 -0.0000
## 680 0.0004 nan 0.1000 -0.0000
## 700 0.0003 nan 0.1000 -0.0000
## 720 0.0003 nan 0.1000 -0.0000
## 740 0.0003 nan 0.1000 -0.0000
## 760 0.0002 nan 0.1000 -0.0000
## 780 0.0002 nan 0.1000 -0.0000
## 800 0.0002 nan 0.1000 -0.0000
## 820 0.0001 nan 0.1000 0.0000
## 840 0.0001 nan 0.1000 -0.0000
## 860 0.0001 nan 0.1000 -0.0000
## 880 0.0001 nan 0.1000 -0.0000
## 900 0.0001 nan 0.1000 -0.0000
## 920 0.0001 nan 0.1000 -0.0000
## 940 0.0001 nan 0.1000 -0.0000
## 960 0.0001 nan 0.1000 -0.0000
## 980 0.0001 nan 0.1000 -0.0000
## 1000 0.0001 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.2939 nan 0.1000 0.3076
## 2 2.9063 nan 0.1000 0.2853
## 3 2.5976 nan 0.1000 0.2689
## 4 2.3355 nan 0.1000 0.2379
## 5 2.1229 nan 0.1000 0.1860
## 6 1.9549 nan 0.1000 0.1631
## 7 1.8170 nan 0.1000 0.1018
## 8 1.6461 nan 0.1000 0.0997
## 9 1.5538 nan 0.1000 0.0539
## 10 1.4763 nan 0.1000 0.0094
## 20 0.8797 nan 0.1000 0.0029
## 40 0.4937 nan 0.1000 -0.0104
## 60 0.3094 nan 0.1000 -0.0034
## 80 0.2095 nan 0.1000 -0.0056
## 100 0.1469 nan 0.1000 -0.0056
## 120 0.1056 nan 0.1000 -0.0010
## 140 0.0761 nan 0.1000 -0.0011
## 160 0.0570 nan 0.1000 -0.0013
## 180 0.0411 nan 0.1000 -0.0002
## 200 0.0312 nan 0.1000 -0.0003
## 220 0.0251 nan 0.1000 -0.0006
## 240 0.0205 nan 0.1000 -0.0004
## 260 0.0160 nan 0.1000 -0.0005
## 280 0.0126 nan 0.1000 -0.0003
## 300 0.0102 nan 0.1000 -0.0003
## 320 0.0087 nan 0.1000 -0.0001
## 340 0.0076 nan 0.1000 -0.0001
## 360 0.0071 nan 0.1000 -0.0001
## 380 0.0062 nan 0.1000 -0.0001
## 400 0.0052 nan 0.1000 -0.0001
## 420 0.0048 nan 0.1000 -0.0000
## 440 0.0042 nan 0.1000 -0.0000
## 460 0.0038 nan 0.1000 -0.0001
## 480 0.0033 nan 0.1000 -0.0001
## 500 0.0028 nan 0.1000 -0.0000
## 520 0.0027 nan 0.1000 -0.0000
## 540 0.0023 nan 0.1000 -0.0000
## 560 0.0021 nan 0.1000 -0.0000
## 580 0.0018 nan 0.1000 -0.0000
## 600 0.0017 nan 0.1000 -0.0000
## 620 0.0015 nan 0.1000 0.0000
## 640 0.0014 nan 0.1000 0.0000
## 660 0.0013 nan 0.1000 -0.0000
## 680 0.0011 nan 0.1000 -0.0000
## 700 0.0010 nan 0.1000 -0.0000
## 720 0.0009 nan 0.1000 -0.0000
## 740 0.0008 nan 0.1000 -0.0000
## 760 0.0008 nan 0.1000 -0.0000
## 780 0.0007 nan 0.1000 -0.0000
## 800 0.0006 nan 0.1000 -0.0000
## 820 0.0005 nan 0.1000 -0.0000
## 840 0.0005 nan 0.1000 -0.0000
## 860 0.0004 nan 0.1000 -0.0000
## 880 0.0004 nan 0.1000 -0.0000
## 900 0.0003 nan 0.1000 -0.0000
## 920 0.0003 nan 0.1000 -0.0000
## 940 0.0003 nan 0.1000 -0.0000
## 960 0.0003 nan 0.1000 -0.0000
## 980 0.0003 nan 0.1000 -0.0000
## 1000 0.0002 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 3.1236 nan 0.1000 0.3242
## 2 2.8107 nan 0.1000 0.3006
## 3 2.4855 nan 0.1000 0.2527
## 4 2.2154 nan 0.1000 0.2029
## 5 2.0338 nan 0.1000 0.1557
## 6 1.8764 nan 0.1000 0.0953
## 7 1.7191 nan 0.1000 0.1260
## 8 1.5659 nan 0.1000 0.1085
## 9 1.4595 nan 0.1000 0.0640
## 10 1.3282 nan 0.1000 0.0722
## 20 0.8115 nan 0.1000 -0.0062
## 40 0.4145 nan 0.1000 0.0008
## 60 0.2400 nan 0.1000 -0.0030
## 80 0.1480 nan 0.1000 -0.0002
## 100 0.1041 nan 0.1000 -0.0013
## 120 0.0724 nan 0.1000 0.0001
## 140 0.0543 nan 0.1000 -0.0006
## 160 0.0398 nan 0.1000 -0.0008
## 180 0.0290 nan 0.1000 -0.0009
## 200 0.0222 nan 0.1000 0.0000
## 220 0.0165 nan 0.1000 -0.0002
## 240 0.0123 nan 0.1000 -0.0002
## 260 0.0101 nan 0.1000 -0.0000
## 280 0.0080 nan 0.1000 -0.0003
## 300 0.0066 nan 0.1000 -0.0001
## 320 0.0056 nan 0.1000 -0.0001
## 340 0.0046 nan 0.1000 -0.0001
## 360 0.0036 nan 0.1000 -0.0001
## 380 0.0031 nan 0.1000 -0.0001
## 400 0.0026 nan 0.1000 -0.0000
## 420 0.0022 nan 0.1000 -0.0000
## 440 0.0019 nan 0.1000 -0.0000
## 460 0.0017 nan 0.1000 0.0000
## 480 0.0014 nan 0.1000 -0.0000
## 500 0.0013 nan 0.1000 -0.0000
## 520 0.0011 nan 0.1000 -0.0000
## 540 0.0009 nan 0.1000 -0.0000
## 550 0.0009 nan 0.1000 -0.0000fitgbm1## Stochastic Gradient Boosting
##
## 144 samples
## 46 predictor
##
## No pre-processing
## Resampling: Cross-Validated (10 fold)
## Summary of sample sizes: 129, 130, 129, 129, 129, 131, ...
## Resampling results across tuning parameters:
##
## shrinkage interaction.depth n.trees RMSE Rsquared MAE
## 0.01 1 100 1.445193 0.5482623 1.1687504
## 0.01 1 150 1.366328 0.5619239 1.0999857
## 0.01 1 200 1.305972 0.5752653 1.0407307
## 0.01 1 250 1.266601 0.5839101 0.9973807
## 0.01 1 300 1.247569 0.5849105 0.9697958
## 0.01 1 350 1.237939 0.5841177 0.9562344
## 0.01 1 400 1.228816 0.5870796 0.9435859
## 0.01 1 450 1.222750 0.5898607 0.9354276
## 0.01 1 500 1.218326 0.5933001 0.9310035
## 0.01 1 550 1.214699 0.5943069 0.9286336
## 0.01 1 600 1.213842 0.5947093 0.9260260
## 0.01 1 650 1.214833 0.5948186 0.9239345
## 0.01 1 700 1.214671 0.5953965 0.9241780
## 0.01 1 750 1.216628 0.5943708 0.9256094
## 0.01 1 800 1.215359 0.5950758 0.9225123
## 0.01 1 850 1.216411 0.5948940 0.9237537
## 0.01 1 900 1.216286 0.5953618 0.9232681
## 0.01 1 950 1.214878 0.5961184 0.9210086
## 0.01 1 1000 1.215092 0.5962451 0.9199677
## 0.01 3 100 1.359229 0.5809930 1.0857536
## 0.01 3 150 1.286619 0.5881994 1.0091835
## 0.01 3 200 1.253127 0.5886980 0.9709575
## 0.01 3 250 1.233367 0.5942804 0.9495337
## 0.01 3 300 1.217208 0.6016588 0.9339323
## 0.01 3 350 1.212671 0.6033256 0.9276967
## 0.01 3 400 1.201708 0.6101976 0.9170152
## 0.01 3 450 1.195031 0.6134858 0.9120480
## 0.01 3 500 1.187549 0.6182307 0.9065277
## 0.01 3 550 1.182883 0.6224517 0.9021820
## 0.01 3 600 1.180490 0.6236194 0.8986848
## 0.01 3 650 1.175432 0.6272873 0.8940845
## 0.01 3 700 1.170829 0.6305473 0.8910455
## 0.01 3 750 1.168575 0.6323696 0.8872252
## 0.01 3 800 1.165223 0.6346195 0.8852252
## 0.01 3 850 1.162430 0.6359587 0.8827993
## 0.01 3 900 1.161253 0.6368909 0.8813188
## 0.01 3 950 1.161531 0.6371522 0.8819246
## 0.01 3 1000 1.160841 0.6380634 0.8806915
## 0.01 5 100 1.337067 0.5987232 1.0711732
## 0.01 5 150 1.265470 0.6027476 0.9957292
## 0.01 5 200 1.233655 0.6066107 0.9598756
## 0.01 5 250 1.219476 0.6073548 0.9431981
## 0.01 5 300 1.212075 0.6096990 0.9270567
## 0.01 5 350 1.202639 0.6138482 0.9172129
## 0.01 5 400 1.197529 0.6161187 0.9092922
## 0.01 5 450 1.192878 0.6198026 0.9063421
## 0.01 5 500 1.188648 0.6220391 0.9019154
## 0.01 5 550 1.185385 0.6243320 0.8962330
## 0.01 5 600 1.177043 0.6306741 0.8884595
## 0.01 5 650 1.170986 0.6342505 0.8805219
## 0.01 5 700 1.168201 0.6369286 0.8773017
## 0.01 5 750 1.164272 0.6391896 0.8737558
## 0.01 5 800 1.158638 0.6423437 0.8676726
## 0.01 5 850 1.156934 0.6435087 0.8640998
## 0.01 5 900 1.156193 0.6441753 0.8614429
## 0.01 5 950 1.153317 0.6454211 0.8591509
## 0.01 5 1000 1.149774 0.6474398 0.8568251
## 0.01 7 100 1.344359 0.5839160 1.0722602
## 0.01 7 150 1.269520 0.5942454 0.9914193
## 0.01 7 200 1.235751 0.5983220 0.9536030
## 0.01 7 250 1.222534 0.6005692 0.9285315
## 0.01 7 300 1.211538 0.6033350 0.9181664
## 0.01 7 350 1.204345 0.6062322 0.9113413
## 0.01 7 400 1.200482 0.6073540 0.9088423
## 0.01 7 450 1.194356 0.6111721 0.9037373
## 0.01 7 500 1.187141 0.6175327 0.8994995
## 0.01 7 550 1.182324 0.6208044 0.8949224
## 0.01 7 600 1.177295 0.6244586 0.8898228
## 0.01 7 650 1.173317 0.6275280 0.8880044
## 0.01 7 700 1.171721 0.6296894 0.8855324
## 0.01 7 750 1.171542 0.6288902 0.8837680
## 0.01 7 800 1.166085 0.6327533 0.8799811
## 0.01 7 850 1.162580 0.6346094 0.8786316
## 0.01 7 900 1.162052 0.6347731 0.8785134
## 0.01 7 950 1.158916 0.6373267 0.8751349
## 0.01 7 1000 1.156376 0.6391256 0.8725343
## 0.10 1 100 1.246657 0.5776935 0.9569894
## 0.10 1 150 1.221468 0.6014346 0.9388136
## 0.10 1 200 1.211966 0.6051336 0.9222201
## 0.10 1 250 1.217355 0.6053906 0.9186472
## 0.10 1 300 1.202847 0.6143717 0.9015476
## 0.10 1 350 1.208992 0.6108947 0.9129107
## 0.10 1 400 1.209756 0.6127173 0.9056906
## 0.10 1 450 1.196887 0.6201013 0.8962011
## 0.10 1 500 1.203768 0.6186755 0.9025923
## 0.10 1 550 1.201198 0.6215222 0.9074767
## 0.10 1 600 1.199814 0.6211867 0.9032895
## 0.10 1 650 1.198194 0.6218409 0.9034605
## 0.10 1 700 1.193495 0.6231891 0.8985387
## 0.10 1 750 1.198533 0.6213602 0.9019514
## 0.10 1 800 1.203437 0.6194137 0.9038917
## 0.10 1 850 1.201129 0.6212378 0.9023003
## 0.10 1 900 1.199611 0.6212922 0.9044090
## 0.10 1 950 1.199060 0.6228583 0.9064026
## 0.10 1 1000 1.198881 0.6228129 0.9077567
## 0.10 3 100 1.182203 0.6266050 0.9071152
## 0.10 3 150 1.173816 0.6338339 0.8880641
## 0.10 3 200 1.160294 0.6444094 0.8780760
## 0.10 3 250 1.143102 0.6540474 0.8680773
## 0.10 3 300 1.146289 0.6521621 0.8668390
## 0.10 3 350 1.147137 0.6501084 0.8680344
## 0.10 3 400 1.147479 0.6498657 0.8694246
## 0.10 3 450 1.145881 0.6499040 0.8687554
## 0.10 3 500 1.146989 0.6499611 0.8695503
## 0.10 3 550 1.148640 0.6490398 0.8714820
## 0.10 3 600 1.147909 0.6490292 0.8706359
## 0.10 3 650 1.146201 0.6500473 0.8701387
## 0.10 3 700 1.146068 0.6500651 0.8702395
## 0.10 3 750 1.146158 0.6501883 0.8706051
## 0.10 3 800 1.145802 0.6504853 0.8705460
## 0.10 3 850 1.146197 0.6502153 0.8708861
## 0.10 3 900 1.146109 0.6503045 0.8709606
## 0.10 3 950 1.145797 0.6503393 0.8709100
## 0.10 3 1000 1.145985 0.6502207 0.8708770
## 0.10 5 100 1.072503 0.6836779 0.8265572
## 0.10 5 150 1.068131 0.6872622 0.8229488
## 0.10 5 200 1.064521 0.6867296 0.8196449
## 0.10 5 250 1.062100 0.6883533 0.8176856
## 0.10 5 300 1.059095 0.6909373 0.8164398
## 0.10 5 350 1.056715 0.6914101 0.8162405
## 0.10 5 400 1.056262 0.6908785 0.8148945
## 0.10 5 450 1.055959 0.6908769 0.8139944
## 0.10 5 500 1.054726 0.6916876 0.8128672
## 0.10 5 550 1.054653 0.6922387 0.8127475
## 0.10 5 600 1.055111 0.6916101 0.8133993
## 0.10 5 650 1.055072 0.6917634 0.8129637
## 0.10 5 700 1.054920 0.6918462 0.8129619
## 0.10 5 750 1.055301 0.6916850 0.8133758
## 0.10 5 800 1.055248 0.6916936 0.8135694
## 0.10 5 850 1.055311 0.6916782 0.8133563
## 0.10 5 900 1.055346 0.6916116 0.8134408
## 0.10 5 950 1.055653 0.6914235 0.8137390
## 0.10 5 1000 1.055522 0.6915309 0.8136827
## 0.10 7 100 1.187587 0.6162520 0.9110521
## 0.10 7 150 1.180856 0.6183628 0.9084233
## 0.10 7 200 1.182702 0.6180168 0.9086650
## 0.10 7 250 1.186369 0.6157644 0.9115567
## 0.10 7 300 1.185702 0.6152881 0.9095830
## 0.10 7 350 1.185256 0.6158317 0.9089547
## 0.10 7 400 1.185555 0.6154996 0.9099121
## 0.10 7 450 1.184749 0.6160897 0.9087017
## 0.10 7 500 1.185374 0.6155243 0.9086958
## 0.10 7 550 1.184805 0.6159396 0.9082343
## 0.10 7 600 1.184198 0.6161180 0.9082237
## 0.10 7 650 1.184154 0.6162461 0.9081338
## 0.10 7 700 1.183918 0.6163929 0.9081380
## 0.10 7 750 1.183686 0.6166590 0.9077207
## 0.10 7 800 1.183820 0.6164806 0.9077111
## 0.10 7 850 1.183503 0.6167845 0.9073642
## 0.10 7 900 1.183433 0.6168832 0.9074080
## 0.10 7 950 1.183567 0.6168496 0.9072772
## 0.10 7 1000 1.183277 0.6170127 0.9070841
##
## Tuning parameter 'n.minobsinnode' was held constant at a value of 10
## RMSE was used to select the optimal model using the smallest value.
## The final values used for the model were n.trees = 550, interaction.depth =
## 5, shrinkage = 0.1 and n.minobsinnode = 10.dfr[5,] = data.frame(
Model='Stochastic gradient boosting',
Tuning.Parameters=paste0('interaction.depth=', fitgbm1$bestTune[['interaction.depth']],
', n.trees=', fitgbm1$bestTune[['n.trees']],
', shrinkage=', fitgbm1$bestTune[['shrinkage']],
', n.minobsinnode=10'),
Train.RMSE=min(fitgbm1$results[['RMSE']])
)Cubist.
# Cubist
cubGrid <- expand.grid(.committees=c(seq(1, 10), seq(20, 100, by=10)), .neighbors=c(0, 1, 5, 9))
set.seed(77)
fitcub1 <- train(trainx, trainy, method='cubist', tuneGrid=cubGrid, trControl=ctrl)
fitcub1## Cubist
##
## 144 samples
## 46 predictor
##
## No pre-processing
## Resampling: Cross-Validated (10 fold)
## Summary of sample sizes: 129, 130, 129, 129, 129, 131, ...
## Resampling results across tuning parameters:
##
## committees neighbors RMSE Rsquared MAE
## 1 0 1.864769 0.4315414 1.2841838
## 1 1 1.820187 0.4988506 1.1095450
## 1 5 1.766021 0.5014337 1.1720563
## 1 9 1.806073 0.4795306 1.2334268
## 2 0 1.374767 0.5748720 1.0083595
## 2 1 1.328862 0.6105454 0.9186106
## 2 5 1.269642 0.6319690 0.9071733
## 2 9 1.324196 0.6081370 0.9731670
## 3 0 1.272867 0.5967645 0.9789656
## 3 1 1.204763 0.6528808 0.8558908
## 3 5 1.174369 0.6611562 0.8699401
## 3 9 1.221590 0.6353661 0.9293320
## 4 0 1.200755 0.6243315 0.9175191
## 4 1 1.115774 0.6847107 0.8055199
## 4 5 1.086328 0.6918560 0.8164602
## 4 9 1.142463 0.6620505 0.8780764
## 5 0 1.262387 0.6136626 0.9418222
## 5 1 1.200205 0.6539955 0.8390126
## 5 5 1.170345 0.6658340 0.8432157
## 5 9 1.211424 0.6450921 0.8981500
## 6 0 1.258199 0.6220525 0.9315273
## 6 1 1.183603 0.6605390 0.8260160
## 6 5 1.168174 0.6719445 0.8362188
## 6 9 1.215313 0.6484403 0.8954600
## 7 0 1.268836 0.6128585 0.9168651
## 7 1 1.169075 0.6707265 0.7941577
## 7 5 1.169821 0.6687368 0.8313861
## 7 9 1.224012 0.6442158 0.8946982
## 8 0 1.288327 0.6114417 0.9258661
## 8 1 1.200707 0.6617296 0.8183066
## 8 5 1.198338 0.6620181 0.8440783
## 8 9 1.244274 0.6399771 0.8989559
## 9 0 1.267677 0.6053823 0.9240168
## 9 1 1.157536 0.6712559 0.7959290
## 9 5 1.165718 0.6633175 0.8392475
## 9 9 1.218762 0.6387891 0.8982588
## 10 0 1.268391 0.6135225 0.9208130
## 10 1 1.166030 0.6700245 0.7932675
## 10 5 1.172802 0.6645262 0.8356239
## 10 9 1.220645 0.6424604 0.8911821
## 20 0 1.244941 0.6113050 0.9194991
## 20 1 1.113970 0.6813151 0.7674075
## 20 5 1.156559 0.6601378 0.8456489
## 20 9 1.201614 0.6394909 0.8964623
## 30 0 1.223847 0.6145739 0.9240866
## 30 1 1.082006 0.6871953 0.7408679
## 30 5 1.127867 0.6652548 0.8347455
## 30 9 1.176556 0.6427397 0.8914438
## 40 0 1.225595 0.6156092 0.9243389
## 40 1 1.082686 0.6889359 0.7410832
## 40 5 1.128721 0.6651033 0.8353278
## 40 9 1.173816 0.6439447 0.8856727
## 50 0 1.208088 0.6188335 0.9216557
## 50 1 1.060883 0.6971248 0.7357028
## 50 5 1.111916 0.6696275 0.8385664
## 50 9 1.157780 0.6475515 0.8854167
## 60 0 1.223777 0.6146143 0.9284131
## 60 1 1.076453 0.6922631 0.7354891
## 60 5 1.130721 0.6650302 0.8487173
## 60 9 1.175862 0.6431272 0.8944690
## 70 0 1.214758 0.6174415 0.9202201
## 70 1 1.072029 0.6929740 0.7329066
## 70 5 1.127205 0.6661780 0.8459797
## 70 9 1.169232 0.6451398 0.8906257
## 80 0 1.213647 0.6178016 0.9195800
## 80 1 1.075446 0.6916768 0.7345262
## 80 5 1.127276 0.6674498 0.8466418
## 80 9 1.168454 0.6466996 0.8905147
## 90 0 1.206259 0.6200370 0.9178540
## 90 1 1.073122 0.6924745 0.7373974
## 90 5 1.121691 0.6698887 0.8478164
## 90 9 1.161845 0.6490618 0.8909422
## 100 0 1.203078 0.6223928 0.9183586
## 100 1 1.074359 0.6927162 0.7415925
## 100 5 1.120305 0.6719274 0.8477096
## 100 9 1.159362 0.6514887 0.8903392
##
## RMSE was used to select the optimal model using the smallest value.
## The final values used for the model were committees = 50 and neighbors = 1.dfr[6,] = data.frame(
Model='Cubist',
Tuning.Parameters=paste0('committees=', fitcub1$bestTune[['committees']],
', neighbors=', fitcub1$bestTune[['neighbors']]),
Train.RMSE=min(fitcub1$results[['RMSE']])
)####(a)
Which tree-based regression model gives the optimal resampling and test set performance?
First generate predictions on the test set for each model, then show the summary of results.
# Add column for test set RMSE to results data frame
dfr$Test.RMSE = NA
# Predict using test set
# Basic CART model - with complexit parameter
predy <- predict(fitcart1, newdata=as.matrix(testx))
dfr[1, 'Test.RMSE'] <- accuracy(predy, testy)[[2]]
# Basic CART model - with node depth
predy <- predict(fitcart2, newdata=as.matrix(testx))
dfr[2, 'Test.RMSE'] <- accuracy(predy, testy)[[2]]
# Bagged CART
predy <- predict(fitbag1, newdata=as.matrix(testx))
dfr[3, 'Test.RMSE'] <- accuracy(predy, testy)[[2]]
# Random forest
predy <- predict(fitrf1, newdata=as.matrix(testx))
dfr[4, 'Test.RMSE'] <- accuracy(predy, testy)[[2]]
# Stochastic gradient boosting
predy <- predict(fitgbm1, newdata=as.matrix(testx))
dfr[5, 'Test.RMSE'] <- accuracy(predy, testy)[[2]]
# Cubist
predy <- predict(fitcub1, newdata=as.matrix(testx))
dfr[6, 'Test.RMSE'] <- accuracy(predy, testy)[[2]]
# Model summary
dfr %>%
filter(!is.na(Train.RMSE)) %>%
mutate(Train.RMSE=round(Train.RMSE, 3)) %>%
arrange(Train.RMSE) %>%
kbl(caption='Model summary') %>%
kable_classic(full_width=F)| Model | Tuning.Parameters | Train.RMSE | Test.RMSE |
|---|---|---|---|
| Stochastic gradient boosting | interaction.depth=5, n.trees=550, shrinkage=0.1, n.minobsinnode=10 | 1.055 | 1.0747473 |
| Cubist | committees=50, neighbors=1 | 1.061 | 0.8185671 |
| Random forest | mtry=21 | 1.164 | 1.1279900 |
| Bagged CART | 1.259 | 1.2597854 | |
| Basic CART (tuned w/complexity parameter) | cp=0.0120925090591374 | 1.391 | 1.5310067 |
| Basic CART (tuned w/node depth) | maxdepth=9 | 1.394 | 1.4874257 |
# Graph results
dfr %>%
filter(!is.na(Train.RMSE)) %>%
ggplot() +
geom_point(aes(x=reorder(Model, Train.RMSE), y=Train.RMSE, color='10xCV Training Set'), shape=1) +
geom_point(aes(x=Model, y=Test.RMSE, color='Validation Set'), shape=2) +
coord_flip() +
ylab('RMSE') +
ggtitle('Model summary')
The stochastic gradient boosting model
(b)
Which predictors are most important in the optimal tree-based regression model? Do either the biological or process variables dominate the list? How do the top 10 important predictors compare to the top 10 predictors from the optimal linear and nonlinear models?
varImp(fitcub1)$importance %>%
arrange(desc(Overall)) %>%
head(n=10) %>%
kbl(caption='Top 10 predictors of best-performing model (Cubist)') %>%
kable_classic(full_width=F)| Overall | |
|---|---|
| ManufacturingProcess32 | 100.00000 |
| BiologicalMaterial06 | 48.62385 |
| ManufacturingProcess17 | 48.62385 |
| ManufacturingProcess09 | 38.53211 |
| ManufacturingProcess13 | 32.11009 |
| ManufacturingProcess04 | 30.27523 |
| BiologicalMaterial03 | 20.18349 |
| ManufacturingProcess39 | 19.26606 |
| ManufacturingProcess33 | 19.26606 |
| ManufacturingProcess11 | 17.43119 |
plot(varImp(fitcub1), top=10, main="Top 10 predictors of best-performing model (Cubist)")
All three classes of models (linear, non-linear, and tree-based) placed manufacturing process (MP) 32 as its most important predictor. MP 09 factored very high in all three as well (second in the linear and non-linear and fourth in the tree-based models), as did MP 13 (third in the linear and non-linear models and fifth in the tree-based models). Interestingly, the tree-based models ranked biologial material (BM) 06 as the second-most important predictor, while neither the linear nor non-linearl models included any BM predictors. This may be due to the tendency of trees to boost the prediction importance of variables that are related in a collinear fashion.
(c)
Plot the optimal single tree with the distribution of yield in the terminal nodes. Does this view of the data provide additional knowledge about the biological or process predictors and their relationship with yield?
# Give up and plot single tree; first fit a single-tree CART model
fitcart3 <- rpart(Yield ~ ., data=dfchem3)
# Plot
library(rattle)## Warning: package 'rattle' was built under R version 4.2.3## Loading required package: bitops## Rattle: A free graphical interface for data science with R.
## Version 5.5.1 Copyright (c) 2006-2021 Togaware Pty Ltd.
## Type 'rattle()' to shake, rattle, and roll your data.##
## Attaching package: 'rattle'## The following object is masked from 'package:randomForest':
##
## importancefancyRpartPlot(fitcart3, palette='YlGnBu', caption="Single CART")
The single-CART tree view confirms that MP 32 is the most important predictor, as it was with the best-performing tree, linear, and non-linear models. It is interesting to note that the single tree is split on multiple biological materials, while the optimal Cubist model only lists a single one (BM 06) which doesn’t factor prominently in the single tree (it is on the fifth level). So while this may provide some information about the relationship between yield and the predictors, it doesn’t necessarily provide the best information.