Titanic Machine Learning Exercise
Camille Tolentino
11/27/2020
Introduction
RMS Titanic challenged mother nature when it was claimed to be unsinkable. In its maiden voyage on April 5, 1912, a collision with an iceberg caused the death of 1502 out of 2224 people aboard. It has since then been one of the most infamous shipwrecks in history and the subject of books and movies.
In this report, we create a model that predicts whether or not a passenger has survived the shipwreck based on a number of factors including age, socio-economic class and sex. We use the Kaggle Titanic dataset.
Data Preparation
Packages required
library(caret)
library(plotly)
library(randomForest)
library(gbm)
library(e1071)
library(rpart)
library(rattle)
library(dplyr)
library(corrplot)
library(ggplot2)Exploratory Data Analysis
There are two data files in the kaggle website. One for train and one for test. The train set will have 12 variables while the final testing set will have the survival of the passengers omitted.
trainInit <- read.csv("train.csv")
testFinal <- read.csv("test.csv")First of all, we want to make sure that we only do exploratory data analysis on the training set. And so a partition was created to obtain a validation set which is named test.
inTrain <- createDataPartition(trainInit$Survived,
p=0.6, list = FALSE)
train <- trainInit[inTrain, ]
test <- trainInit[-inTrain, ]
summary(train)## PassengerId Survived Pclass Name
## Min. : 2.0 Min. :0.0000 Min. :1.000 Length:535
## 1st Qu.:225.5 1st Qu.:0.0000 1st Qu.:2.000 Class :character
## Median :450.0 Median :0.0000 Median :3.000 Mode :character
## Mean :443.4 Mean :0.3907 Mean :2.329
## 3rd Qu.:660.0 3rd Qu.:1.0000 3rd Qu.:3.000
## Max. :890.0 Max. :1.0000 Max. :3.000
##
## Sex Age SibSp Parch
## Length:535 Min. : 0.42 Min. :0.0000 Min. :0.0000
## Class :character 1st Qu.:19.00 1st Qu.:0.0000 1st Qu.:0.0000
## Mode :character Median :28.00 Median :0.0000 Median :0.0000
## Mean :29.35 Mean :0.4561 Mean :0.3383
## 3rd Qu.:38.00 3rd Qu.:1.0000 3rd Qu.:0.0000
## Max. :80.00 Max. :8.0000 Max. :5.0000
## NA's :113
## Ticket Fare Cabin Embarked
## Length:535 Min. : 0.000 Length:535 Length:535
## Class :character 1st Qu.: 7.896 Class :character Class :character
## Mode :character Median : 13.792 Mode :character Mode :character
## Mean : 29.880
## 3rd Qu.: 30.285
## Max. :512.329
## Now that we have our training set we can proceed with preprocessing which includes filling in the NAs making sure that the same is applied to the test sets.
For Age, we take the mean age of passengers and use that as the value for NAs.
train$Age[is.na(train$Age)] <- mean(train$Age, na.rm = TRUE)
test$Age[is.na(test$Age)] <- mean(train$Age, na.rm = TRUE)
testFinal$Age[is.na(testFinal$Age)] <- mean(train$Age, na.rm = TRUE)For Fare, we can split the dataset into the PClass category and use the mean per class as the imputed value.
meanFare<-tapply(train$Fare, train$Pclass, mean)
train.split <- split(train,train$Pclass)
for(i in 1:length(train.split)){
train.split[[i]]$Fare[train.split[[i]]$Fare == 0] <- meanFare[i]
}
train <- do.call("rbind", train.split)
test.split <- split(test,testFinal$Pclass)## Warning in split.default(x = seq_len(nrow(x)), f = f, drop = drop, ...): data
## length is not a multiple of split variablefor(i in 1:length(test.split)){
test.split[[i]]$Fare[test.split[[i]]$Fare == 0] <- meanFare[i]
}
test <- do.call("rbind", test.split)
testFinal.split <- split(testFinal,testFinal$Pclass)
for(i in 1:length(testFinal.split)){
testFinal.split[[i]]$Fare[testFinal.split[[i]]$Fare == 0] <- meanFare[i]
}
testFinal <- do.call("rbind", testFinal.split)
#An extra step to impute the value of the NA fare in the test set
testFinal.split <- split(testFinal,testFinal$Pclass)
for(i in 1:length(testFinal.split)){
testFinal.split[[i]]$Fare[is.na(testFinal.split[[i]]$Fare)] <- meanFare[i]
}
testFinal <- do.call("rbind", testFinal.split)
summary(train)## PassengerId Survived Pclass Name
## Min. : 2.0 Min. :0.0000 Min. :1.000 Length:535
## 1st Qu.:225.5 1st Qu.:0.0000 1st Qu.:2.000 Class :character
## Median :450.0 Median :0.0000 Median :3.000 Mode :character
## Mean :443.4 Mean :0.3907 Mean :2.329
## 3rd Qu.:660.0 3rd Qu.:1.0000 3rd Qu.:3.000
## Max. :890.0 Max. :1.0000 Max. :3.000
## Sex Age SibSp Parch
## Length:535 Min. : 0.42 Min. :0.0000 Min. :0.0000
## Class :character 1st Qu.:22.00 1st Qu.:0.0000 1st Qu.:0.0000
## Mode :character Median :29.35 Median :0.0000 Median :0.0000
## Mean :29.35 Mean :0.4561 Mean :0.3383
## 3rd Qu.:35.00 3rd Qu.:1.0000 3rd Qu.:0.0000
## Max. :80.00 Max. :8.0000 Max. :5.0000
## Ticket Fare Cabin Embarked
## Length:535 Min. : 6.438 Length:535 Length:535
## Class :character 1st Qu.: 7.925 Class :character Class :character
## Mode :character Median : 14.454 Mode :character Mode :character
## Mean : 30.213
## 3rd Qu.: 30.500
## Max. :512.329Correlation Plot
Next we want to see which variables are correlated. We do this using corrplot and checking for the dark colors which would indicate highly positive or negative correlation. But to do this, we would have to convert all the data to numeric first. We remove the descriptive data and change sex from string to numeric.
train[,c("Name","Cabin","Ticket","Embarked")]<-list(NULL)
test[,c("Name","Cabin","Ticket","Embarked")]<-list(NULL)
testFinal[,c("Name","Cabin","Ticket","Embarked")]<-list(NULL)
train$Sex <- ifelse(train$Sex=="female",1,0)
test$Sex <- ifelse(test$Sex=="female",1,0)
testFinal$Sex <- ifelse(testFinal$Sex=="female",1,0)
summary(train)## PassengerId Survived Pclass Sex
## Min. : 2.0 Min. :0.0000 Min. :1.000 Min. :0.0000
## 1st Qu.:225.5 1st Qu.:0.0000 1st Qu.:2.000 1st Qu.:0.0000
## Median :450.0 Median :0.0000 Median :3.000 Median :0.0000
## Mean :443.4 Mean :0.3907 Mean :2.329 Mean :0.3533
## 3rd Qu.:660.0 3rd Qu.:1.0000 3rd Qu.:3.000 3rd Qu.:1.0000
## Max. :890.0 Max. :1.0000 Max. :3.000 Max. :1.0000
## Age SibSp Parch Fare
## Min. : 0.42 Min. :0.0000 Min. :0.0000 Min. : 6.438
## 1st Qu.:22.00 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.: 7.925
## Median :29.35 Median :0.0000 Median :0.0000 Median : 14.454
## Mean :29.35 Mean :0.4561 Mean :0.3383 Mean : 30.213
## 3rd Qu.:35.00 3rd Qu.:1.0000 3rd Qu.:0.0000 3rd Qu.: 30.500
## Max. :80.00 Max. :8.0000 Max. :5.0000 Max. :512.329Now, we can take a look at the correlation matrix.
corMatrix <- cor(train[, -8])
corrplot(corMatrix,
method = "color", type = "lower",
tl.cex = 0.8, tl.col = "black")
From here we can see that there seem to be higher correlation between survival and both pclass, sex and age which would make sense given that the women and children were first to be evacuated and the ones with higher socio-economic class are likely prioritized. Other than that there seem to be no other variables breaching 0.8 correlation.
Prediction Models
With a higher accuracy, we use GBM for the initial kaggle competition submission (prior to any stacking which might be done on a later project).
Generalized Boost
We want to force the gbm model to go into classification mode so we will be converting Survival from numeric to factor.
set.seed(3063)
modBoost <- train(as.factor(Survived) ~., method = "gbm",data=train)## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3012 nan 0.1000 0.0293
## 2 1.2538 nan 0.1000 0.0233
## 3 1.2125 nan 0.1000 0.0210
## 4 1.1834 nan 0.1000 0.0160
## 5 1.1587 nan 0.1000 0.0135
## 6 1.1364 nan 0.1000 0.0106
## 7 1.1138 nan 0.1000 0.0086
## 8 1.1001 nan 0.1000 0.0061
## 9 1.0858 nan 0.1000 0.0073
## 10 1.0720 nan 0.1000 0.0065
## 20 0.9925 nan 0.1000 0.0006
## 40 0.9223 nan 0.1000 -0.0004
## 60 0.8828 nan 0.1000 -0.0026
## 80 0.8521 nan 0.1000 -0.0016
## 100 0.8280 nan 0.1000 0.0000
## 120 0.8081 nan 0.1000 -0.0013
## 140 0.7921 nan 0.1000 -0.0004
## 150 0.7826 nan 0.1000 -0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2895 nan 0.1000 0.0339
## 2 1.2338 nan 0.1000 0.0293
## 3 1.1851 nan 0.1000 0.0241
## 4 1.1429 nan 0.1000 0.0174
## 5 1.1194 nan 0.1000 0.0104
## 6 1.0889 nan 0.1000 0.0150
## 7 1.0625 nan 0.1000 0.0114
## 8 1.0430 nan 0.1000 0.0103
## 9 1.0275 nan 0.1000 0.0063
## 10 1.0136 nan 0.1000 0.0043
## 20 0.9204 nan 0.1000 0.0014
## 40 0.8211 nan 0.1000 0.0003
## 60 0.7553 nan 0.1000 0.0002
## 80 0.7115 nan 0.1000 0.0008
## 100 0.6669 nan 0.1000 -0.0008
## 120 0.6321 nan 0.1000 0.0005
## 140 0.6004 nan 0.1000 -0.0008
## 150 0.5877 nan 0.1000 -0.0018
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2831 nan 0.1000 0.0361
## 2 1.2246 nan 0.1000 0.0307
## 3 1.1652 nan 0.1000 0.0249
## 4 1.1244 nan 0.1000 0.0186
## 5 1.0881 nan 0.1000 0.0179
## 6 1.0541 nan 0.1000 0.0137
## 7 1.0273 nan 0.1000 0.0101
## 8 1.0032 nan 0.1000 0.0098
## 9 0.9867 nan 0.1000 0.0071
## 10 0.9718 nan 0.1000 0.0053
## 20 0.8625 nan 0.1000 0.0019
## 40 0.7534 nan 0.1000 0.0004
## 60 0.6792 nan 0.1000 -0.0014
## 80 0.6074 nan 0.1000 0.0000
## 100 0.5634 nan 0.1000 -0.0004
## 120 0.5267 nan 0.1000 -0.0011
## 140 0.4893 nan 0.1000 -0.0024
## 150 0.4739 nan 0.1000 -0.0034
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2730 nan 0.1000 0.0248
## 2 1.2285 nan 0.1000 0.0199
## 3 1.1959 nan 0.1000 0.0159
## 4 1.1641 nan 0.1000 0.0115
## 5 1.1421 nan 0.1000 0.0092
## 6 1.1261 nan 0.1000 0.0074
## 7 1.1109 nan 0.1000 0.0060
## 8 1.1012 nan 0.1000 0.0037
## 9 1.0891 nan 0.1000 0.0035
## 10 1.0795 nan 0.1000 0.0028
## 20 0.9979 nan 0.1000 0.0016
## 40 0.9216 nan 0.1000 0.0006
## 60 0.8735 nan 0.1000 -0.0011
## 80 0.8410 nan 0.1000 -0.0008
## 100 0.8156 nan 0.1000 -0.0007
## 120 0.7951 nan 0.1000 -0.0004
## 140 0.7768 nan 0.1000 -0.0011
## 150 0.7690 nan 0.1000 -0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2652 nan 0.1000 0.0289
## 2 1.2133 nan 0.1000 0.0235
## 3 1.1724 nan 0.1000 0.0175
## 4 1.1387 nan 0.1000 0.0169
## 5 1.1138 nan 0.1000 0.0129
## 6 1.0899 nan 0.1000 0.0103
## 7 1.0692 nan 0.1000 0.0095
## 8 1.0522 nan 0.1000 0.0056
## 9 1.0352 nan 0.1000 0.0068
## 10 1.0183 nan 0.1000 0.0052
## 20 0.9237 nan 0.1000 0.0011
## 40 0.8102 nan 0.1000 -0.0003
## 60 0.7485 nan 0.1000 -0.0002
## 80 0.7032 nan 0.1000 -0.0015
## 100 0.6616 nan 0.1000 -0.0023
## 120 0.6302 nan 0.1000 -0.0002
## 140 0.5965 nan 0.1000 0.0002
## 150 0.5807 nan 0.1000 -0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2576 nan 0.1000 0.0290
## 2 1.2076 nan 0.1000 0.0201
## 3 1.1647 nan 0.1000 0.0199
## 4 1.1249 nan 0.1000 0.0189
## 5 1.0915 nan 0.1000 0.0147
## 6 1.0645 nan 0.1000 0.0111
## 7 1.0433 nan 0.1000 0.0075
## 8 1.0233 nan 0.1000 0.0062
## 9 0.9987 nan 0.1000 0.0089
## 10 0.9841 nan 0.1000 0.0048
## 20 0.8631 nan 0.1000 0.0020
## 40 0.7352 nan 0.1000 -0.0011
## 60 0.6595 nan 0.1000 -0.0008
## 80 0.5978 nan 0.1000 -0.0017
## 100 0.5514 nan 0.1000 -0.0012
## 120 0.5061 nan 0.1000 -0.0013
## 140 0.4751 nan 0.1000 -0.0016
## 150 0.4583 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3074 nan 0.1000 0.0228
## 2 1.2734 nan 0.1000 0.0180
## 3 1.2421 nan 0.1000 0.0140
## 4 1.2137 nan 0.1000 0.0127
## 5 1.1882 nan 0.1000 0.0101
## 6 1.1685 nan 0.1000 0.0109
## 7 1.1492 nan 0.1000 0.0092
## 8 1.1299 nan 0.1000 0.0084
## 9 1.1128 nan 0.1000 0.0069
## 10 1.0998 nan 0.1000 0.0057
## 20 1.0050 nan 0.1000 0.0012
## 40 0.9291 nan 0.1000 0.0007
## 60 0.8857 nan 0.1000 0.0005
## 80 0.8529 nan 0.1000 -0.0007
## 100 0.8282 nan 0.1000 -0.0001
## 120 0.8087 nan 0.1000 -0.0014
## 140 0.7903 nan 0.1000 -0.0001
## 150 0.7831 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2906 nan 0.1000 0.0287
## 2 1.2423 nan 0.1000 0.0236
## 3 1.2019 nan 0.1000 0.0178
## 4 1.1695 nan 0.1000 0.0180
## 5 1.1400 nan 0.1000 0.0130
## 6 1.1160 nan 0.1000 0.0126
## 7 1.0939 nan 0.1000 0.0103
## 8 1.0745 nan 0.1000 0.0093
## 9 1.0524 nan 0.1000 0.0098
## 10 1.0370 nan 0.1000 0.0061
## 20 0.9379 nan 0.1000 0.0017
## 40 0.8414 nan 0.1000 -0.0007
## 60 0.7780 nan 0.1000 -0.0010
## 80 0.7272 nan 0.1000 -0.0002
## 100 0.6899 nan 0.1000 -0.0023
## 120 0.6618 nan 0.1000 0.0002
## 140 0.6345 nan 0.1000 -0.0006
## 150 0.6204 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2886 nan 0.1000 0.0312
## 2 1.2348 nan 0.1000 0.0279
## 3 1.1886 nan 0.1000 0.0188
## 4 1.1514 nan 0.1000 0.0153
## 5 1.1155 nan 0.1000 0.0128
## 6 1.0883 nan 0.1000 0.0114
## 7 1.0595 nan 0.1000 0.0110
## 8 1.0421 nan 0.1000 0.0050
## 9 1.0214 nan 0.1000 0.0084
## 10 1.0033 nan 0.1000 0.0078
## 20 0.8885 nan 0.1000 0.0018
## 40 0.7705 nan 0.1000 0.0015
## 60 0.6912 nan 0.1000 -0.0012
## 80 0.6293 nan 0.1000 -0.0004
## 100 0.5868 nan 0.1000 -0.0014
## 120 0.5463 nan 0.1000 -0.0012
## 140 0.5105 nan 0.1000 -0.0011
## 150 0.4962 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2482 nan 0.1000 0.0230
## 2 1.2128 nan 0.1000 0.0191
## 3 1.1749 nan 0.1000 0.0154
## 4 1.1516 nan 0.1000 0.0117
## 5 1.1312 nan 0.1000 0.0097
## 6 1.1165 nan 0.1000 0.0054
## 7 1.1014 nan 0.1000 0.0079
## 8 1.0860 nan 0.1000 0.0063
## 9 1.0763 nan 0.1000 0.0022
## 10 1.0648 nan 0.1000 0.0044
## 20 0.9907 nan 0.1000 0.0028
## 40 0.9195 nan 0.1000 0.0002
## 60 0.8789 nan 0.1000 -0.0006
## 80 0.8501 nan 0.1000 -0.0013
## 100 0.8277 nan 0.1000 0.0001
## 120 0.8105 nan 0.1000 -0.0003
## 140 0.7957 nan 0.1000 -0.0006
## 150 0.7898 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2351 nan 0.1000 0.0332
## 2 1.1852 nan 0.1000 0.0231
## 3 1.1424 nan 0.1000 0.0201
## 4 1.1043 nan 0.1000 0.0169
## 5 1.0703 nan 0.1000 0.0139
## 6 1.0467 nan 0.1000 0.0087
## 7 1.0226 nan 0.1000 0.0116
## 8 1.0010 nan 0.1000 0.0098
## 9 0.9840 nan 0.1000 0.0073
## 10 0.9715 nan 0.1000 0.0034
## 20 0.8820 nan 0.1000 -0.0001
## 40 0.7856 nan 0.1000 0.0000
## 60 0.7268 nan 0.1000 -0.0008
## 80 0.6825 nan 0.1000 -0.0010
## 100 0.6488 nan 0.1000 -0.0011
## 120 0.6188 nan 0.1000 -0.0003
## 140 0.5888 nan 0.1000 -0.0015
## 150 0.5789 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2339 nan 0.1000 0.0394
## 2 1.1756 nan 0.1000 0.0251
## 3 1.1201 nan 0.1000 0.0249
## 4 1.0817 nan 0.1000 0.0196
## 5 1.0437 nan 0.1000 0.0183
## 6 1.0169 nan 0.1000 0.0129
## 7 0.9908 nan 0.1000 0.0127
## 8 0.9725 nan 0.1000 0.0080
## 9 0.9523 nan 0.1000 0.0079
## 10 0.9330 nan 0.1000 0.0056
## 20 0.8309 nan 0.1000 0.0018
## 40 0.7141 nan 0.1000 -0.0005
## 60 0.6447 nan 0.1000 -0.0025
## 80 0.5915 nan 0.1000 -0.0016
## 100 0.5502 nan 0.1000 -0.0018
## 120 0.5109 nan 0.1000 -0.0018
## 140 0.4845 nan 0.1000 -0.0011
## 150 0.4708 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2555 nan 0.1000 0.0318
## 2 1.2021 nan 0.1000 0.0240
## 3 1.1625 nan 0.1000 0.0198
## 4 1.1283 nan 0.1000 0.0154
## 5 1.0985 nan 0.1000 0.0125
## 6 1.0828 nan 0.1000 0.0069
## 7 1.0638 nan 0.1000 0.0099
## 8 1.0458 nan 0.1000 0.0078
## 9 1.0310 nan 0.1000 0.0068
## 10 1.0187 nan 0.1000 0.0053
## 20 0.9364 nan 0.1000 -0.0003
## 40 0.8591 nan 0.1000 0.0002
## 60 0.8082 nan 0.1000 0.0001
## 80 0.7774 nan 0.1000 0.0001
## 100 0.7557 nan 0.1000 0.0002
## 120 0.7359 nan 0.1000 -0.0007
## 140 0.7177 nan 0.1000 0.0001
## 150 0.7082 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2562 nan 0.1000 0.0352
## 2 1.1938 nan 0.1000 0.0276
## 3 1.1494 nan 0.1000 0.0222
## 4 1.1089 nan 0.1000 0.0186
## 5 1.0765 nan 0.1000 0.0155
## 6 1.0508 nan 0.1000 0.0127
## 7 1.0236 nan 0.1000 0.0100
## 8 1.0037 nan 0.1000 0.0069
## 9 0.9837 nan 0.1000 0.0079
## 10 0.9686 nan 0.1000 0.0078
## 20 0.8646 nan 0.1000 -0.0003
## 40 0.7588 nan 0.1000 0.0001
## 60 0.6902 nan 0.1000 0.0009
## 80 0.6494 nan 0.1000 -0.0016
## 100 0.6101 nan 0.1000 -0.0010
## 120 0.5802 nan 0.1000 -0.0001
## 140 0.5521 nan 0.1000 -0.0012
## 150 0.5403 nan 0.1000 -0.0015
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2476 nan 0.1000 0.0389
## 2 1.1762 nan 0.1000 0.0278
## 3 1.1237 nan 0.1000 0.0244
## 4 1.0827 nan 0.1000 0.0189
## 5 1.0491 nan 0.1000 0.0154
## 6 1.0187 nan 0.1000 0.0147
## 7 0.9886 nan 0.1000 0.0112
## 8 0.9642 nan 0.1000 0.0122
## 9 0.9438 nan 0.1000 0.0092
## 10 0.9252 nan 0.1000 0.0063
## 20 0.7995 nan 0.1000 0.0013
## 40 0.6778 nan 0.1000 0.0008
## 60 0.6039 nan 0.1000 0.0007
## 80 0.5481 nan 0.1000 -0.0011
## 100 0.5000 nan 0.1000 -0.0009
## 120 0.4669 nan 0.1000 -0.0004
## 140 0.4335 nan 0.1000 0.0001
## 150 0.4179 nan 0.1000 -0.0009
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3000 nan 0.1000 0.0211
## 2 1.2640 nan 0.1000 0.0170
## 3 1.2345 nan 0.1000 0.0133
## 4 1.2132 nan 0.1000 0.0108
## 5 1.2003 nan 0.1000 0.0050
## 6 1.1801 nan 0.1000 0.0087
## 7 1.1657 nan 0.1000 0.0066
## 8 1.1558 nan 0.1000 0.0014
## 9 1.1428 nan 0.1000 0.0059
## 10 1.1319 nan 0.1000 0.0044
## 20 1.0694 nan 0.1000 0.0024
## 40 0.9941 nan 0.1000 0.0003
## 60 0.9502 nan 0.1000 -0.0002
## 80 0.9218 nan 0.1000 -0.0000
## 100 0.8984 nan 0.1000 -0.0011
## 120 0.8763 nan 0.1000 -0.0010
## 140 0.8592 nan 0.1000 0.0002
## 150 0.8527 nan 0.1000 -0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2872 nan 0.1000 0.0253
## 2 1.2518 nan 0.1000 0.0185
## 3 1.2172 nan 0.1000 0.0178
## 4 1.1915 nan 0.1000 0.0120
## 5 1.1627 nan 0.1000 0.0130
## 6 1.1413 nan 0.1000 0.0103
## 7 1.1205 nan 0.1000 0.0089
## 8 1.1080 nan 0.1000 0.0045
## 9 1.0921 nan 0.1000 0.0035
## 10 1.0806 nan 0.1000 0.0046
## 20 0.9894 nan 0.1000 0.0025
## 40 0.8983 nan 0.1000 0.0003
## 60 0.8397 nan 0.1000 -0.0007
## 80 0.7871 nan 0.1000 -0.0008
## 100 0.7480 nan 0.1000 -0.0010
## 120 0.7123 nan 0.1000 -0.0018
## 140 0.6821 nan 0.1000 -0.0010
## 150 0.6678 nan 0.1000 -0.0020
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2809 nan 0.1000 0.0269
## 2 1.2363 nan 0.1000 0.0223
## 3 1.1923 nan 0.1000 0.0159
## 4 1.1633 nan 0.1000 0.0144
## 5 1.1359 nan 0.1000 0.0113
## 6 1.1091 nan 0.1000 0.0107
## 7 1.0866 nan 0.1000 0.0094
## 8 1.0697 nan 0.1000 0.0070
## 9 1.0544 nan 0.1000 0.0049
## 10 1.0421 nan 0.1000 0.0044
## 20 0.9338 nan 0.1000 0.0012
## 40 0.8201 nan 0.1000 -0.0007
## 60 0.7384 nan 0.1000 0.0009
## 80 0.6809 nan 0.1000 -0.0010
## 100 0.6370 nan 0.1000 -0.0015
## 120 0.5938 nan 0.1000 -0.0024
## 140 0.5565 nan 0.1000 -0.0002
## 150 0.5388 nan 0.1000 -0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2710 nan 0.1000 0.0179
## 2 1.2367 nan 0.1000 0.0142
## 3 1.2134 nan 0.1000 0.0124
## 4 1.1945 nan 0.1000 0.0100
## 5 1.1784 nan 0.1000 0.0082
## 6 1.1632 nan 0.1000 0.0061
## 7 1.1510 nan 0.1000 0.0050
## 8 1.1387 nan 0.1000 0.0025
## 9 1.1296 nan 0.1000 0.0033
## 10 1.1211 nan 0.1000 0.0025
## 20 1.0574 nan 0.1000 -0.0002
## 40 0.9903 nan 0.1000 0.0009
## 60 0.9507 nan 0.1000 0.0003
## 80 0.9280 nan 0.1000 -0.0001
## 100 0.9041 nan 0.1000 -0.0007
## 120 0.8867 nan 0.1000 -0.0014
## 140 0.8677 nan 0.1000 -0.0012
## 150 0.8599 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2581 nan 0.1000 0.0252
## 2 1.2127 nan 0.1000 0.0210
## 3 1.1775 nan 0.1000 0.0195
## 4 1.1478 nan 0.1000 0.0105
## 5 1.1215 nan 0.1000 0.0122
## 6 1.1003 nan 0.1000 0.0087
## 7 1.0840 nan 0.1000 0.0057
## 8 1.0676 nan 0.1000 0.0034
## 9 1.0551 nan 0.1000 0.0046
## 10 1.0416 nan 0.1000 0.0066
## 20 0.9625 nan 0.1000 0.0022
## 40 0.8657 nan 0.1000 -0.0014
## 60 0.7982 nan 0.1000 0.0005
## 80 0.7509 nan 0.1000 -0.0005
## 100 0.7078 nan 0.1000 -0.0010
## 120 0.6727 nan 0.1000 -0.0003
## 140 0.6333 nan 0.1000 0.0006
## 150 0.6192 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2581 nan 0.1000 0.0254
## 2 1.2056 nan 0.1000 0.0245
## 3 1.1653 nan 0.1000 0.0178
## 4 1.1359 nan 0.1000 0.0173
## 5 1.1055 nan 0.1000 0.0131
## 6 1.0786 nan 0.1000 0.0095
## 7 1.0561 nan 0.1000 0.0090
## 8 1.0345 nan 0.1000 0.0092
## 9 1.0173 nan 0.1000 0.0059
## 10 0.9983 nan 0.1000 0.0077
## 20 0.8826 nan 0.1000 0.0026
## 40 0.7575 nan 0.1000 -0.0008
## 60 0.6796 nan 0.1000 -0.0021
## 80 0.6146 nan 0.1000 -0.0001
## 100 0.5703 nan 0.1000 -0.0003
## 120 0.5285 nan 0.1000 -0.0006
## 140 0.4963 nan 0.1000 -0.0006
## 150 0.4801 nan 0.1000 -0.0022
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2900 nan 0.1000 0.0251
## 2 1.2496 nan 0.1000 0.0185
## 3 1.2291 nan 0.1000 0.0078
## 4 1.2031 nan 0.1000 0.0139
## 5 1.1753 nan 0.1000 0.0120
## 6 1.1537 nan 0.1000 0.0090
## 7 1.1360 nan 0.1000 0.0071
## 8 1.1218 nan 0.1000 0.0058
## 9 1.1104 nan 0.1000 0.0044
## 10 1.1035 nan 0.1000 0.0012
## 20 1.0348 nan 0.1000 0.0015
## 40 0.9629 nan 0.1000 0.0005
## 60 0.9181 nan 0.1000 0.0001
## 80 0.8862 nan 0.1000 -0.0005
## 100 0.8668 nan 0.1000 -0.0006
## 120 0.8463 nan 0.1000 0.0000
## 140 0.8287 nan 0.1000 -0.0002
## 150 0.8215 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2930 nan 0.1000 0.0259
## 2 1.2421 nan 0.1000 0.0262
## 3 1.2003 nan 0.1000 0.0207
## 4 1.1684 nan 0.1000 0.0158
## 5 1.1388 nan 0.1000 0.0120
## 6 1.1161 nan 0.1000 0.0105
## 7 1.0942 nan 0.1000 0.0085
## 8 1.0788 nan 0.1000 0.0058
## 9 1.0646 nan 0.1000 0.0044
## 10 1.0519 nan 0.1000 0.0031
## 20 0.9600 nan 0.1000 0.0034
## 40 0.8583 nan 0.1000 -0.0012
## 60 0.8008 nan 0.1000 0.0007
## 80 0.7495 nan 0.1000 -0.0008
## 100 0.7121 nan 0.1000 -0.0018
## 120 0.6746 nan 0.1000 0.0012
## 140 0.6483 nan 0.1000 -0.0014
## 150 0.6319 nan 0.1000 -0.0034
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2858 nan 0.1000 0.0275
## 2 1.2322 nan 0.1000 0.0257
## 3 1.1898 nan 0.1000 0.0198
## 4 1.1518 nan 0.1000 0.0155
## 5 1.1153 nan 0.1000 0.0147
## 6 1.0861 nan 0.1000 0.0095
## 7 1.0614 nan 0.1000 0.0090
## 8 1.0439 nan 0.1000 0.0086
## 9 1.0237 nan 0.1000 0.0080
## 10 1.0109 nan 0.1000 0.0017
## 20 0.8921 nan 0.1000 0.0009
## 40 0.7770 nan 0.1000 -0.0005
## 60 0.7045 nan 0.1000 0.0007
## 80 0.6477 nan 0.1000 -0.0001
## 100 0.6020 nan 0.1000 0.0002
## 120 0.5597 nan 0.1000 -0.0010
## 140 0.5209 nan 0.1000 -0.0008
## 150 0.5068 nan 0.1000 -0.0017
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2836 nan 0.1000 0.0280
## 2 1.2391 nan 0.1000 0.0218
## 3 1.2040 nan 0.1000 0.0190
## 4 1.1755 nan 0.1000 0.0140
## 5 1.1516 nan 0.1000 0.0121
## 6 1.1305 nan 0.1000 0.0102
## 7 1.1173 nan 0.1000 0.0052
## 8 1.1039 nan 0.1000 0.0041
## 9 1.0878 nan 0.1000 0.0077
## 10 1.0765 nan 0.1000 0.0039
## 20 0.9928 nan 0.1000 0.0021
## 40 0.9116 nan 0.1000 -0.0011
## 60 0.8724 nan 0.1000 -0.0006
## 80 0.8440 nan 0.1000 -0.0001
## 100 0.8241 nan 0.1000 -0.0006
## 120 0.8044 nan 0.1000 -0.0004
## 140 0.7898 nan 0.1000 -0.0010
## 150 0.7818 nan 0.1000 -0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2686 nan 0.1000 0.0351
## 2 1.2139 nan 0.1000 0.0259
## 3 1.1711 nan 0.1000 0.0216
## 4 1.1307 nan 0.1000 0.0185
## 5 1.1014 nan 0.1000 0.0137
## 6 1.0751 nan 0.1000 0.0119
## 7 1.0531 nan 0.1000 0.0081
## 8 1.0315 nan 0.1000 0.0089
## 9 1.0117 nan 0.1000 0.0079
## 10 0.9955 nan 0.1000 0.0080
## 20 0.8957 nan 0.1000 0.0006
## 40 0.7932 nan 0.1000 -0.0005
## 60 0.7368 nan 0.1000 -0.0007
## 80 0.6838 nan 0.1000 -0.0012
## 100 0.6433 nan 0.1000 -0.0002
## 120 0.6098 nan 0.1000 -0.0007
## 140 0.5861 nan 0.1000 -0.0004
## 150 0.5753 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2678 nan 0.1000 0.0338
## 2 1.2063 nan 0.1000 0.0302
## 3 1.1578 nan 0.1000 0.0209
## 4 1.1106 nan 0.1000 0.0188
## 5 1.0775 nan 0.1000 0.0166
## 6 1.0494 nan 0.1000 0.0129
## 7 1.0261 nan 0.1000 0.0121
## 8 1.0009 nan 0.1000 0.0097
## 9 0.9778 nan 0.1000 0.0094
## 10 0.9585 nan 0.1000 0.0076
## 20 0.8476 nan 0.1000 0.0013
## 40 0.7477 nan 0.1000 0.0013
## 60 0.6632 nan 0.1000 0.0004
## 80 0.6003 nan 0.1000 0.0006
## 100 0.5603 nan 0.1000 -0.0008
## 120 0.5253 nan 0.1000 -0.0028
## 140 0.4879 nan 0.1000 -0.0011
## 150 0.4715 nan 0.1000 -0.0015
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2356 nan 0.1000 0.0308
## 2 1.1912 nan 0.1000 0.0238
## 3 1.1487 nan 0.1000 0.0189
## 4 1.1221 nan 0.1000 0.0156
## 5 1.0952 nan 0.1000 0.0126
## 6 1.0823 nan 0.1000 0.0035
## 7 1.0595 nan 0.1000 0.0099
## 8 1.0510 nan 0.1000 0.0039
## 9 1.0387 nan 0.1000 0.0059
## 10 1.0230 nan 0.1000 0.0081
## 20 0.9360 nan 0.1000 0.0002
## 40 0.8715 nan 0.1000 0.0003
## 60 0.8335 nan 0.1000 -0.0018
## 80 0.8017 nan 0.1000 -0.0005
## 100 0.7755 nan 0.1000 -0.0005
## 120 0.7569 nan 0.1000 -0.0009
## 140 0.7390 nan 0.1000 -0.0002
## 150 0.7297 nan 0.1000 -0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2192 nan 0.1000 0.0395
## 2 1.1574 nan 0.1000 0.0278
## 3 1.1077 nan 0.1000 0.0236
## 4 1.0675 nan 0.1000 0.0176
## 5 1.0312 nan 0.1000 0.0159
## 6 1.0072 nan 0.1000 0.0134
## 7 0.9873 nan 0.1000 0.0115
## 8 0.9692 nan 0.1000 0.0062
## 9 0.9496 nan 0.1000 0.0093
## 10 0.9352 nan 0.1000 0.0061
## 20 0.8440 nan 0.1000 0.0030
## 40 0.7501 nan 0.1000 0.0009
## 60 0.6853 nan 0.1000 0.0010
## 80 0.6303 nan 0.1000 -0.0023
## 100 0.5923 nan 0.1000 -0.0005
## 120 0.5510 nan 0.1000 -0.0003
## 140 0.5157 nan 0.1000 -0.0015
## 150 0.5009 nan 0.1000 -0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2109 nan 0.1000 0.0368
## 2 1.1450 nan 0.1000 0.0305
## 3 1.0928 nan 0.1000 0.0244
## 4 1.0465 nan 0.1000 0.0193
## 5 1.0097 nan 0.1000 0.0161
## 6 0.9813 nan 0.1000 0.0142
## 7 0.9586 nan 0.1000 0.0081
## 8 0.9340 nan 0.1000 0.0100
## 9 0.9149 nan 0.1000 0.0076
## 10 0.9004 nan 0.1000 0.0065
## 20 0.7803 nan 0.1000 0.0010
## 40 0.6608 nan 0.1000 -0.0003
## 60 0.5826 nan 0.1000 0.0001
## 80 0.5302 nan 0.1000 0.0000
## 100 0.4793 nan 0.1000 0.0008
## 120 0.4347 nan 0.1000 0.0008
## 140 0.4016 nan 0.1000 -0.0004
## 150 0.3886 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2919 nan 0.1000 0.0342
## 2 1.2333 nan 0.1000 0.0278
## 3 1.1866 nan 0.1000 0.0228
## 4 1.1532 nan 0.1000 0.0189
## 5 1.1238 nan 0.1000 0.0152
## 6 1.0985 nan 0.1000 0.0132
## 7 1.0729 nan 0.1000 0.0094
## 8 1.0557 nan 0.1000 0.0080
## 9 1.0468 nan 0.1000 0.0004
## 10 1.0347 nan 0.1000 0.0068
## 20 0.9444 nan 0.1000 0.0012
## 40 0.8712 nan 0.1000 0.0002
## 60 0.8344 nan 0.1000 0.0005
## 80 0.8094 nan 0.1000 0.0002
## 100 0.7846 nan 0.1000 -0.0008
## 120 0.7669 nan 0.1000 -0.0008
## 140 0.7524 nan 0.1000 -0.0014
## 150 0.7444 nan 0.1000 -0.0009
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2914 nan 0.1000 0.0360
## 2 1.2293 nan 0.1000 0.0324
## 3 1.1762 nan 0.1000 0.0253
## 4 1.1329 nan 0.1000 0.0201
## 5 1.0974 nan 0.1000 0.0179
## 6 1.0645 nan 0.1000 0.0132
## 7 1.0371 nan 0.1000 0.0109
## 8 1.0157 nan 0.1000 0.0104
## 9 1.0007 nan 0.1000 0.0069
## 10 0.9815 nan 0.1000 0.0092
## 20 0.8754 nan 0.1000 0.0022
## 40 0.7838 nan 0.1000 0.0003
## 60 0.7294 nan 0.1000 -0.0009
## 80 0.6817 nan 0.1000 -0.0009
## 100 0.6428 nan 0.1000 -0.0004
## 120 0.6104 nan 0.1000 -0.0008
## 140 0.5837 nan 0.1000 -0.0012
## 150 0.5685 nan 0.1000 -0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2815 nan 0.1000 0.0395
## 2 1.2106 nan 0.1000 0.0351
## 3 1.1544 nan 0.1000 0.0260
## 4 1.1104 nan 0.1000 0.0226
## 5 1.0714 nan 0.1000 0.0188
## 6 1.0363 nan 0.1000 0.0170
## 7 1.0076 nan 0.1000 0.0149
## 8 0.9851 nan 0.1000 0.0111
## 9 0.9666 nan 0.1000 0.0091
## 10 0.9486 nan 0.1000 0.0070
## 20 0.8397 nan 0.1000 0.0004
## 40 0.7203 nan 0.1000 -0.0012
## 60 0.6550 nan 0.1000 -0.0003
## 80 0.6051 nan 0.1000 -0.0021
## 100 0.5629 nan 0.1000 -0.0013
## 120 0.5261 nan 0.1000 -0.0007
## 140 0.4926 nan 0.1000 -0.0011
## 150 0.4747 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3133 nan 0.1000 0.0265
## 2 1.2704 nan 0.1000 0.0214
## 3 1.2345 nan 0.1000 0.0173
## 4 1.2044 nan 0.1000 0.0124
## 5 1.1789 nan 0.1000 0.0104
## 6 1.1564 nan 0.1000 0.0108
## 7 1.1386 nan 0.1000 0.0087
## 8 1.1214 nan 0.1000 0.0066
## 9 1.1053 nan 0.1000 0.0082
## 10 1.0935 nan 0.1000 0.0060
## 20 0.9883 nan 0.1000 0.0034
## 40 0.8939 nan 0.1000 0.0002
## 60 0.8449 nan 0.1000 0.0000
## 80 0.8152 nan 0.1000 -0.0023
## 100 0.7945 nan 0.1000 -0.0002
## 120 0.7725 nan 0.1000 -0.0015
## 140 0.7548 nan 0.1000 -0.0009
## 150 0.7476 nan 0.1000 -0.0009
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3030 nan 0.1000 0.0334
## 2 1.2473 nan 0.1000 0.0284
## 3 1.1997 nan 0.1000 0.0227
## 4 1.1600 nan 0.1000 0.0192
## 5 1.1254 nan 0.1000 0.0149
## 6 1.0967 nan 0.1000 0.0145
## 7 1.0744 nan 0.1000 0.0102
## 8 1.0507 nan 0.1000 0.0084
## 9 1.0325 nan 0.1000 0.0083
## 10 1.0154 nan 0.1000 0.0088
## 20 0.9007 nan 0.1000 0.0022
## 40 0.7982 nan 0.1000 0.0006
## 60 0.7318 nan 0.1000 0.0009
## 80 0.6945 nan 0.1000 -0.0000
## 100 0.6605 nan 0.1000 -0.0006
## 120 0.6217 nan 0.1000 -0.0005
## 140 0.5994 nan 0.1000 -0.0009
## 150 0.5888 nan 0.1000 -0.0015
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2890 nan 0.1000 0.0412
## 2 1.2227 nan 0.1000 0.0303
## 3 1.1747 nan 0.1000 0.0232
## 4 1.1323 nan 0.1000 0.0170
## 5 1.1009 nan 0.1000 0.0143
## 6 1.0659 nan 0.1000 0.0140
## 7 1.0378 nan 0.1000 0.0134
## 8 1.0086 nan 0.1000 0.0114
## 9 0.9898 nan 0.1000 0.0087
## 10 0.9719 nan 0.1000 0.0079
## 20 0.8365 nan 0.1000 0.0026
## 40 0.7159 nan 0.1000 -0.0012
## 60 0.6488 nan 0.1000 0.0006
## 80 0.6005 nan 0.1000 -0.0010
## 100 0.5505 nan 0.1000 -0.0017
## 120 0.5142 nan 0.1000 -0.0005
## 140 0.4873 nan 0.1000 -0.0020
## 150 0.4748 nan 0.1000 -0.0019
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2963 nan 0.1000 0.0222
## 2 1.2617 nan 0.1000 0.0179
## 3 1.2344 nan 0.1000 0.0142
## 4 1.2092 nan 0.1000 0.0115
## 5 1.1905 nan 0.1000 0.0100
## 6 1.1746 nan 0.1000 0.0069
## 7 1.1595 nan 0.1000 0.0058
## 8 1.1483 nan 0.1000 0.0052
## 9 1.1324 nan 0.1000 0.0054
## 10 1.1235 nan 0.1000 0.0037
## 20 1.0546 nan 0.1000 0.0009
## 40 0.9971 nan 0.1000 0.0009
## 60 0.9642 nan 0.1000 -0.0013
## 80 0.9383 nan 0.1000 -0.0001
## 100 0.9190 nan 0.1000 -0.0012
## 120 0.9016 nan 0.1000 -0.0006
## 140 0.8875 nan 0.1000 -0.0012
## 150 0.8811 nan 0.1000 -0.0013
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2893 nan 0.1000 0.0283
## 2 1.2397 nan 0.1000 0.0195
## 3 1.2009 nan 0.1000 0.0159
## 4 1.1669 nan 0.1000 0.0144
## 5 1.1397 nan 0.1000 0.0106
## 6 1.1177 nan 0.1000 0.0088
## 7 1.0964 nan 0.1000 0.0088
## 8 1.0814 nan 0.1000 0.0063
## 9 1.0680 nan 0.1000 0.0027
## 10 1.0553 nan 0.1000 0.0058
## 20 0.9616 nan 0.1000 0.0008
## 40 0.8723 nan 0.1000 -0.0006
## 60 0.8194 nan 0.1000 -0.0018
## 80 0.7740 nan 0.1000 -0.0005
## 100 0.7394 nan 0.1000 -0.0002
## 120 0.7048 nan 0.1000 -0.0002
## 140 0.6787 nan 0.1000 -0.0008
## 150 0.6649 nan 0.1000 -0.0006
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2818 nan 0.1000 0.0299
## 2 1.2317 nan 0.1000 0.0235
## 3 1.1918 nan 0.1000 0.0184
## 4 1.1521 nan 0.1000 0.0174
## 5 1.1180 nan 0.1000 0.0137
## 6 1.0897 nan 0.1000 0.0113
## 7 1.0632 nan 0.1000 0.0088
## 8 1.0462 nan 0.1000 0.0069
## 9 1.0294 nan 0.1000 0.0070
## 10 1.0171 nan 0.1000 0.0030
## 20 0.9122 nan 0.1000 0.0015
## 40 0.7998 nan 0.1000 -0.0014
## 60 0.7256 nan 0.1000 -0.0013
## 80 0.6699 nan 0.1000 -0.0008
## 100 0.6213 nan 0.1000 -0.0012
## 120 0.5775 nan 0.1000 -0.0015
## 140 0.5423 nan 0.1000 -0.0011
## 150 0.5270 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3080 nan 0.1000 0.0198
## 2 1.2700 nan 0.1000 0.0170
## 3 1.2395 nan 0.1000 0.0138
## 4 1.2162 nan 0.1000 0.0113
## 5 1.1991 nan 0.1000 0.0090
## 6 1.1822 nan 0.1000 0.0053
## 7 1.1695 nan 0.1000 0.0076
## 8 1.1570 nan 0.1000 0.0062
## 9 1.1448 nan 0.1000 0.0043
## 10 1.1338 nan 0.1000 0.0034
## 20 1.0560 nan 0.1000 0.0022
## 40 0.9752 nan 0.1000 -0.0003
## 60 0.9249 nan 0.1000 -0.0001
## 80 0.8866 nan 0.1000 -0.0001
## 100 0.8534 nan 0.1000 -0.0003
## 120 0.8315 nan 0.1000 -0.0008
## 140 0.8089 nan 0.1000 -0.0005
## 150 0.7994 nan 0.1000 -0.0012
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2947 nan 0.1000 0.0250
## 2 1.2565 nan 0.1000 0.0194
## 3 1.2258 nan 0.1000 0.0112
## 4 1.1897 nan 0.1000 0.0132
## 5 1.1662 nan 0.1000 0.0095
## 6 1.1397 nan 0.1000 0.0125
## 7 1.1197 nan 0.1000 0.0087
## 8 1.0972 nan 0.1000 0.0083
## 9 1.0799 nan 0.1000 0.0066
## 10 1.0684 nan 0.1000 0.0034
## 20 0.9567 nan 0.1000 0.0012
## 40 0.8381 nan 0.1000 0.0026
## 60 0.7623 nan 0.1000 0.0006
## 80 0.7152 nan 0.1000 -0.0007
## 100 0.6694 nan 0.1000 -0.0008
## 120 0.6260 nan 0.1000 -0.0004
## 140 0.5951 nan 0.1000 -0.0006
## 150 0.5804 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2902 nan 0.1000 0.0275
## 2 1.2389 nan 0.1000 0.0216
## 3 1.1977 nan 0.1000 0.0156
## 4 1.1565 nan 0.1000 0.0172
## 5 1.1248 nan 0.1000 0.0133
## 6 1.0964 nan 0.1000 0.0118
## 7 1.0754 nan 0.1000 0.0061
## 8 1.0519 nan 0.1000 0.0072
## 9 1.0322 nan 0.1000 0.0075
## 10 1.0169 nan 0.1000 0.0070
## 20 0.8808 nan 0.1000 0.0017
## 40 0.7386 nan 0.1000 0.0009
## 60 0.6594 nan 0.1000 0.0001
## 80 0.5900 nan 0.1000 -0.0013
## 100 0.5407 nan 0.1000 -0.0008
## 120 0.5012 nan 0.1000 -0.0004
## 140 0.4668 nan 0.1000 -0.0010
## 150 0.4510 nan 0.1000 -0.0022
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2917 nan 0.1000 0.0245
## 2 1.2488 nan 0.1000 0.0214
## 3 1.2138 nan 0.1000 0.0179
## 4 1.1874 nan 0.1000 0.0140
## 5 1.1623 nan 0.1000 0.0118
## 6 1.1405 nan 0.1000 0.0088
## 7 1.1279 nan 0.1000 0.0048
## 8 1.1104 nan 0.1000 0.0071
## 9 1.0977 nan 0.1000 0.0055
## 10 1.0836 nan 0.1000 0.0055
## 20 1.0006 nan 0.1000 0.0016
## 40 0.9384 nan 0.1000 -0.0003
## 60 0.8997 nan 0.1000 -0.0006
## 80 0.8657 nan 0.1000 -0.0021
## 100 0.8428 nan 0.1000 -0.0007
## 120 0.8231 nan 0.1000 -0.0007
## 140 0.8054 nan 0.1000 -0.0013
## 150 0.7984 nan 0.1000 -0.0011
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2813 nan 0.1000 0.0285
## 2 1.2316 nan 0.1000 0.0252
## 3 1.1875 nan 0.1000 0.0176
## 4 1.1518 nan 0.1000 0.0161
## 5 1.1217 nan 0.1000 0.0117
## 6 1.1042 nan 0.1000 0.0039
## 7 1.0785 nan 0.1000 0.0112
## 8 1.0612 nan 0.1000 0.0082
## 9 1.0461 nan 0.1000 0.0056
## 10 1.0312 nan 0.1000 0.0044
## 20 0.9272 nan 0.1000 0.0008
## 40 0.8287 nan 0.1000 -0.0004
## 60 0.7686 nan 0.1000 -0.0008
## 80 0.7201 nan 0.1000 -0.0000
## 100 0.6800 nan 0.1000 -0.0029
## 120 0.6482 nan 0.1000 -0.0003
## 140 0.6223 nan 0.1000 -0.0002
## 150 0.6111 nan 0.1000 -0.0016
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2814 nan 0.1000 0.0342
## 2 1.2239 nan 0.1000 0.0264
## 3 1.1724 nan 0.1000 0.0206
## 4 1.1336 nan 0.1000 0.0182
## 5 1.0986 nan 0.1000 0.0134
## 6 1.0742 nan 0.1000 0.0099
## 7 1.0545 nan 0.1000 0.0071
## 8 1.0319 nan 0.1000 0.0088
## 9 1.0110 nan 0.1000 0.0079
## 10 0.9904 nan 0.1000 0.0087
## 20 0.8775 nan 0.1000 0.0029
## 40 0.7565 nan 0.1000 0.0000
## 60 0.6779 nan 0.1000 0.0011
## 80 0.6295 nan 0.1000 -0.0011
## 100 0.5846 nan 0.1000 0.0002
## 120 0.5425 nan 0.1000 -0.0002
## 140 0.5061 nan 0.1000 -0.0015
## 150 0.4893 nan 0.1000 -0.0012
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2532 nan 0.1000 0.0234
## 2 1.2140 nan 0.1000 0.0196
## 3 1.1801 nan 0.1000 0.0146
## 4 1.1587 nan 0.1000 0.0123
## 5 1.1405 nan 0.1000 0.0060
## 6 1.1179 nan 0.1000 0.0099
## 7 1.1021 nan 0.1000 0.0077
## 8 1.0879 nan 0.1000 0.0061
## 9 1.0726 nan 0.1000 0.0059
## 10 1.0640 nan 0.1000 0.0016
## 20 0.9953 nan 0.1000 0.0003
## 40 0.9276 nan 0.1000 0.0008
## 60 0.8874 nan 0.1000 -0.0004
## 80 0.8577 nan 0.1000 0.0001
## 100 0.8356 nan 0.1000 -0.0016
## 120 0.8223 nan 0.1000 -0.0019
## 140 0.8031 nan 0.1000 -0.0011
## 150 0.7967 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2394 nan 0.1000 0.0293
## 2 1.1915 nan 0.1000 0.0214
## 3 1.1511 nan 0.1000 0.0161
## 4 1.1169 nan 0.1000 0.0115
## 5 1.0920 nan 0.1000 0.0106
## 6 1.0758 nan 0.1000 0.0064
## 7 1.0569 nan 0.1000 0.0062
## 8 1.0410 nan 0.1000 0.0058
## 9 1.0245 nan 0.1000 0.0057
## 10 1.0083 nan 0.1000 0.0036
## 20 0.9122 nan 0.1000 0.0022
## 40 0.8251 nan 0.1000 -0.0001
## 60 0.7528 nan 0.1000 -0.0003
## 80 0.7016 nan 0.1000 -0.0004
## 100 0.6598 nan 0.1000 0.0001
## 120 0.6269 nan 0.1000 -0.0015
## 140 0.6001 nan 0.1000 -0.0010
## 150 0.5916 nan 0.1000 -0.0009
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2384 nan 0.1000 0.0327
## 2 1.1824 nan 0.1000 0.0223
## 3 1.1360 nan 0.1000 0.0206
## 4 1.1015 nan 0.1000 0.0168
## 5 1.0671 nan 0.1000 0.0147
## 6 1.0440 nan 0.1000 0.0099
## 7 1.0242 nan 0.1000 0.0082
## 8 1.0035 nan 0.1000 0.0086
## 9 0.9864 nan 0.1000 0.0052
## 10 0.9733 nan 0.1000 0.0052
## 20 0.8608 nan 0.1000 0.0033
## 40 0.7388 nan 0.1000 -0.0002
## 60 0.6593 nan 0.1000 0.0005
## 80 0.5974 nan 0.1000 -0.0014
## 100 0.5503 nan 0.1000 -0.0022
## 120 0.5137 nan 0.1000 -0.0012
## 140 0.4750 nan 0.1000 0.0004
## 150 0.4614 nan 0.1000 -0.0016
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.3047 nan 0.1000 0.0163
## 2 1.2879 nan 0.1000 0.0029
## 3 1.2652 nan 0.1000 0.0125
## 4 1.2550 nan 0.1000 0.0051
## 5 1.2327 nan 0.1000 0.0104
## 6 1.2218 nan 0.1000 0.0035
## 7 1.2083 nan 0.1000 0.0076
## 8 1.1963 nan 0.1000 0.0068
## 9 1.1885 nan 0.1000 0.0013
## 10 1.1818 nan 0.1000 0.0027
## 20 1.1192 nan 0.1000 0.0017
## 40 1.0535 nan 0.1000 0.0010
## 60 1.0111 nan 0.1000 0.0005
## 80 0.9775 nan 0.1000 -0.0014
## 100 0.9552 nan 0.1000 -0.0003
## 120 0.9336 nan 0.1000 -0.0006
## 140 0.9159 nan 0.1000 -0.0003
## 150 0.9099 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2952 nan 0.1000 0.0205
## 2 1.2656 nan 0.1000 0.0131
## 3 1.2344 nan 0.1000 0.0135
## 4 1.2121 nan 0.1000 0.0120
## 5 1.1946 nan 0.1000 0.0082
## 6 1.1725 nan 0.1000 0.0075
## 7 1.1566 nan 0.1000 0.0055
## 8 1.1414 nan 0.1000 0.0056
## 9 1.1270 nan 0.1000 0.0055
## 10 1.1160 nan 0.1000 0.0037
## 20 1.0284 nan 0.1000 0.0017
## 40 0.9353 nan 0.1000 -0.0005
## 60 0.8676 nan 0.1000 -0.0006
## 80 0.8249 nan 0.1000 -0.0023
## 100 0.7944 nan 0.1000 -0.0016
## 120 0.7655 nan 0.1000 -0.0006
## 140 0.7413 nan 0.1000 -0.0016
## 150 0.7275 nan 0.1000 -0.0009
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2862 nan 0.1000 0.0249
## 2 1.2466 nan 0.1000 0.0190
## 3 1.2131 nan 0.1000 0.0146
## 4 1.1881 nan 0.1000 0.0091
## 5 1.1579 nan 0.1000 0.0117
## 6 1.1362 nan 0.1000 0.0077
## 7 1.1178 nan 0.1000 0.0074
## 8 1.1016 nan 0.1000 0.0052
## 9 1.0836 nan 0.1000 0.0065
## 10 1.0709 nan 0.1000 0.0039
## 20 0.9657 nan 0.1000 0.0005
## 40 0.8525 nan 0.1000 0.0005
## 60 0.7743 nan 0.1000 0.0001
## 80 0.7231 nan 0.1000 -0.0001
## 100 0.6806 nan 0.1000 0.0003
## 120 0.6374 nan 0.1000 -0.0011
## 140 0.6006 nan 0.1000 -0.0004
## 150 0.5802 nan 0.1000 -0.0016
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2425 nan 0.1000 0.0237
## 2 1.1997 nan 0.1000 0.0180
## 3 1.1722 nan 0.1000 0.0139
## 4 1.1517 nan 0.1000 0.0116
## 5 1.1323 nan 0.1000 0.0092
## 6 1.1162 nan 0.1000 0.0080
## 7 1.1037 nan 0.1000 0.0061
## 8 1.0920 nan 0.1000 0.0043
## 9 1.0813 nan 0.1000 0.0047
## 10 1.0685 nan 0.1000 0.0033
## 20 0.9893 nan 0.1000 0.0020
## 40 0.9172 nan 0.1000 0.0011
## 60 0.8726 nan 0.1000 -0.0003
## 80 0.8422 nan 0.1000 -0.0010
## 100 0.8150 nan 0.1000 -0.0003
## 120 0.7976 nan 0.1000 -0.0003
## 140 0.7824 nan 0.1000 -0.0005
## 150 0.7756 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2309 nan 0.1000 0.0308
## 2 1.1816 nan 0.1000 0.0263
## 3 1.1493 nan 0.1000 0.0159
## 4 1.1181 nan 0.1000 0.0133
## 5 1.0896 nan 0.1000 0.0087
## 6 1.0679 nan 0.1000 0.0080
## 7 1.0464 nan 0.1000 0.0089
## 8 1.0270 nan 0.1000 0.0088
## 9 1.0116 nan 0.1000 0.0066
## 10 0.9979 nan 0.1000 0.0044
## 20 0.9059 nan 0.1000 0.0005
## 40 0.8115 nan 0.1000 -0.0000
## 60 0.7558 nan 0.1000 -0.0022
## 80 0.7045 nan 0.1000 0.0005
## 100 0.6706 nan 0.1000 -0.0014
## 120 0.6407 nan 0.1000 -0.0007
## 140 0.6106 nan 0.1000 -0.0010
## 150 0.5997 nan 0.1000 -0.0017
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2323 nan 0.1000 0.0288
## 2 1.1808 nan 0.1000 0.0239
## 3 1.1418 nan 0.1000 0.0205
## 4 1.1106 nan 0.1000 0.0146
## 5 1.0801 nan 0.1000 0.0111
## 6 1.0520 nan 0.1000 0.0118
## 7 1.0289 nan 0.1000 0.0106
## 8 1.0076 nan 0.1000 0.0074
## 9 0.9821 nan 0.1000 0.0088
## 10 0.9680 nan 0.1000 0.0057
## 20 0.8570 nan 0.1000 0.0038
## 40 0.7450 nan 0.1000 -0.0002
## 60 0.6640 nan 0.1000 0.0003
## 80 0.6119 nan 0.1000 -0.0028
## 100 0.5626 nan 0.1000 -0.0008
## 120 0.5250 nan 0.1000 -0.0025
## 140 0.4921 nan 0.1000 -0.0004
## 150 0.4760 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2968 nan 0.1000 0.0173
## 2 1.2651 nan 0.1000 0.0131
## 3 1.2429 nan 0.1000 0.0110
## 4 1.2262 nan 0.1000 0.0088
## 5 1.2093 nan 0.1000 0.0061
## 6 1.1942 nan 0.1000 0.0073
## 7 1.1790 nan 0.1000 0.0050
## 8 1.1691 nan 0.1000 0.0042
## 9 1.1583 nan 0.1000 0.0048
## 10 1.1485 nan 0.1000 0.0023
## 20 1.0828 nan 0.1000 0.0020
## 40 1.0011 nan 0.1000 0.0005
## 60 0.9483 nan 0.1000 0.0002
## 80 0.9162 nan 0.1000 -0.0005
## 100 0.8845 nan 0.1000 -0.0008
## 120 0.8614 nan 0.1000 -0.0005
## 140 0.8451 nan 0.1000 -0.0008
## 150 0.8363 nan 0.1000 -0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2847 nan 0.1000 0.0223
## 2 1.2438 nan 0.1000 0.0180
## 3 1.2153 nan 0.1000 0.0150
## 4 1.1891 nan 0.1000 0.0126
## 5 1.1672 nan 0.1000 0.0074
## 6 1.1508 nan 0.1000 0.0068
## 7 1.1283 nan 0.1000 0.0103
## 8 1.1096 nan 0.1000 0.0064
## 9 1.0933 nan 0.1000 0.0079
## 10 1.0789 nan 0.1000 0.0067
## 20 0.9749 nan 0.1000 0.0022
## 40 0.8591 nan 0.1000 -0.0017
## 60 0.7926 nan 0.1000 0.0012
## 80 0.7391 nan 0.1000 -0.0007
## 100 0.6974 nan 0.1000 -0.0013
## 120 0.6647 nan 0.1000 -0.0024
## 140 0.6341 nan 0.1000 -0.0016
## 150 0.6179 nan 0.1000 -0.0016
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2815 nan 0.1000 0.0260
## 2 1.2328 nan 0.1000 0.0238
## 3 1.1975 nan 0.1000 0.0160
## 4 1.1588 nan 0.1000 0.0163
## 5 1.1329 nan 0.1000 0.0090
## 6 1.1060 nan 0.1000 0.0111
## 7 1.0861 nan 0.1000 0.0078
## 8 1.0708 nan 0.1000 0.0052
## 9 1.0542 nan 0.1000 0.0084
## 10 1.0359 nan 0.1000 0.0070
## 20 0.9177 nan 0.1000 0.0013
## 40 0.7864 nan 0.1000 0.0016
## 60 0.6921 nan 0.1000 0.0008
## 80 0.6352 nan 0.1000 0.0007
## 100 0.5878 nan 0.1000 -0.0001
## 120 0.5427 nan 0.1000 -0.0012
## 140 0.5031 nan 0.1000 -0.0021
## 150 0.4887 nan 0.1000 -0.0013
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2569 nan 0.1000 0.0269
## 2 1.2138 nan 0.1000 0.0201
## 3 1.1797 nan 0.1000 0.0163
## 4 1.1499 nan 0.1000 0.0122
## 5 1.1293 nan 0.1000 0.0108
## 6 1.1136 nan 0.1000 0.0087
## 7 1.0980 nan 0.1000 0.0070
## 8 1.0828 nan 0.1000 0.0050
## 9 1.0698 nan 0.1000 0.0028
## 10 1.0602 nan 0.1000 0.0042
## 20 0.9961 nan 0.1000 0.0008
## 40 0.9339 nan 0.1000 0.0002
## 60 0.8940 nan 0.1000 0.0002
## 80 0.8667 nan 0.1000 -0.0012
## 100 0.8470 nan 0.1000 -0.0005
## 120 0.8320 nan 0.1000 -0.0002
## 140 0.8199 nan 0.1000 -0.0006
## 150 0.8124 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2461 nan 0.1000 0.0248
## 2 1.1927 nan 0.1000 0.0243
## 3 1.1541 nan 0.1000 0.0186
## 4 1.1231 nan 0.1000 0.0158
## 5 1.0954 nan 0.1000 0.0131
## 6 1.0747 nan 0.1000 0.0099
## 7 1.0585 nan 0.1000 0.0028
## 8 1.0393 nan 0.1000 0.0082
## 9 1.0235 nan 0.1000 0.0059
## 10 1.0095 nan 0.1000 0.0042
## 20 0.9256 nan 0.1000 0.0013
## 40 0.8429 nan 0.1000 0.0004
## 60 0.7854 nan 0.1000 -0.0021
## 80 0.7339 nan 0.1000 -0.0003
## 100 0.6931 nan 0.1000 -0.0001
## 120 0.6615 nan 0.1000 -0.0010
## 140 0.6331 nan 0.1000 -0.0001
## 150 0.6216 nan 0.1000 -0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2419 nan 0.1000 0.0324
## 2 1.1881 nan 0.1000 0.0264
## 3 1.1464 nan 0.1000 0.0203
## 4 1.1140 nan 0.1000 0.0160
## 5 1.0835 nan 0.1000 0.0131
## 6 1.0554 nan 0.1000 0.0112
## 7 1.0316 nan 0.1000 0.0102
## 8 1.0110 nan 0.1000 0.0074
## 9 0.9940 nan 0.1000 0.0076
## 10 0.9787 nan 0.1000 0.0027
## 20 0.8717 nan 0.1000 0.0007
## 40 0.7674 nan 0.1000 0.0011
## 60 0.6999 nan 0.1000 -0.0013
## 80 0.6393 nan 0.1000 -0.0003
## 100 0.5929 nan 0.1000 -0.0015
## 120 0.5484 nan 0.1000 0.0003
## 140 0.5116 nan 0.1000 -0.0015
## 150 0.4962 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2840 nan 0.1000 0.0226
## 2 1.2415 nan 0.1000 0.0168
## 3 1.2135 nan 0.1000 0.0147
## 4 1.1850 nan 0.1000 0.0115
## 5 1.1638 nan 0.1000 0.0091
## 6 1.1469 nan 0.1000 0.0074
## 7 1.1295 nan 0.1000 0.0085
## 8 1.1177 nan 0.1000 0.0059
## 9 1.1023 nan 0.1000 0.0060
## 10 1.0917 nan 0.1000 0.0053
## 20 1.0231 nan 0.1000 0.0006
## 40 0.9601 nan 0.1000 -0.0000
## 60 0.9231 nan 0.1000 -0.0026
## 80 0.8911 nan 0.1000 -0.0005
## 100 0.8673 nan 0.1000 -0.0009
## 120 0.8479 nan 0.1000 -0.0005
## 140 0.8343 nan 0.1000 -0.0005
## 150 0.8272 nan 0.1000 -0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2702 nan 0.1000 0.0308
## 2 1.2191 nan 0.1000 0.0247
## 3 1.1850 nan 0.1000 0.0167
## 4 1.1547 nan 0.1000 0.0143
## 5 1.1261 nan 0.1000 0.0143
## 6 1.1044 nan 0.1000 0.0075
## 7 1.0834 nan 0.1000 0.0088
## 8 1.0667 nan 0.1000 0.0081
## 9 1.0526 nan 0.1000 0.0063
## 10 1.0395 nan 0.1000 0.0048
## 20 0.9482 nan 0.1000 0.0022
## 40 0.8620 nan 0.1000 -0.0024
## 60 0.8006 nan 0.1000 -0.0013
## 80 0.7607 nan 0.1000 -0.0014
## 100 0.7218 nan 0.1000 -0.0007
## 120 0.6832 nan 0.1000 -0.0000
## 140 0.6565 nan 0.1000 -0.0020
## 150 0.6448 nan 0.1000 -0.0015
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2678 nan 0.1000 0.0310
## 2 1.2125 nan 0.1000 0.0273
## 3 1.1693 nan 0.1000 0.0201
## 4 1.1282 nan 0.1000 0.0176
## 5 1.0986 nan 0.1000 0.0137
## 6 1.0739 nan 0.1000 0.0127
## 7 1.0545 nan 0.1000 0.0087
## 8 1.0353 nan 0.1000 0.0072
## 9 1.0150 nan 0.1000 0.0069
## 10 0.9991 nan 0.1000 0.0066
## 20 0.8962 nan 0.1000 0.0015
## 40 0.7900 nan 0.1000 -0.0019
## 60 0.7191 nan 0.1000 -0.0010
## 80 0.6655 nan 0.1000 -0.0009
## 100 0.6233 nan 0.1000 -0.0021
## 120 0.5764 nan 0.1000 -0.0009
## 140 0.5339 nan 0.1000 -0.0018
## 150 0.5166 nan 0.1000 -0.0016
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2732 nan 0.1000 0.0234
## 2 1.2345 nan 0.1000 0.0174
## 3 1.2053 nan 0.1000 0.0141
## 4 1.1829 nan 0.1000 0.0115
## 5 1.1655 nan 0.1000 0.0093
## 6 1.1484 nan 0.1000 0.0075
## 7 1.1351 nan 0.1000 0.0054
## 8 1.1239 nan 0.1000 0.0043
## 9 1.1137 nan 0.1000 0.0037
## 10 1.1028 nan 0.1000 0.0047
## 20 1.0206 nan 0.1000 0.0014
## 40 0.9503 nan 0.1000 0.0006
## 60 0.9069 nan 0.1000 -0.0001
## 80 0.8791 nan 0.1000 0.0003
## 100 0.8577 nan 0.1000 -0.0003
## 120 0.8417 nan 0.1000 -0.0019
## 140 0.8294 nan 0.1000 -0.0006
## 150 0.8219 nan 0.1000 -0.0013
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2586 nan 0.1000 0.0266
## 2 1.2167 nan 0.1000 0.0199
## 3 1.1810 nan 0.1000 0.0181
## 4 1.1509 nan 0.1000 0.0140
## 5 1.1266 nan 0.1000 0.0119
## 6 1.1062 nan 0.1000 0.0087
## 7 1.0872 nan 0.1000 0.0088
## 8 1.0678 nan 0.1000 0.0065
## 9 1.0521 nan 0.1000 0.0050
## 10 1.0348 nan 0.1000 0.0079
## 20 0.9383 nan 0.1000 0.0022
## 40 0.8437 nan 0.1000 0.0010
## 60 0.7771 nan 0.1000 -0.0006
## 80 0.7348 nan 0.1000 -0.0011
## 100 0.6980 nan 0.1000 -0.0003
## 120 0.6633 nan 0.1000 -0.0019
## 140 0.6351 nan 0.1000 -0.0013
## 150 0.6169 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2593 nan 0.1000 0.0251
## 2 1.2048 nan 0.1000 0.0259
## 3 1.1651 nan 0.1000 0.0185
## 4 1.1324 nan 0.1000 0.0119
## 5 1.0977 nan 0.1000 0.0172
## 6 1.0698 nan 0.1000 0.0124
## 7 1.0464 nan 0.1000 0.0086
## 8 1.0253 nan 0.1000 0.0099
## 9 1.0081 nan 0.1000 0.0068
## 10 0.9943 nan 0.1000 0.0048
## 20 0.8723 nan 0.1000 0.0025
## 40 0.7584 nan 0.1000 -0.0007
## 60 0.6879 nan 0.1000 -0.0012
## 80 0.6312 nan 0.1000 -0.0007
## 100 0.5864 nan 0.1000 0.0001
## 120 0.5380 nan 0.1000 -0.0006
## 140 0.5079 nan 0.1000 -0.0021
## 150 0.4907 nan 0.1000 -0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2801 nan 0.1000 0.0186
## 2 1.2507 nan 0.1000 0.0147
## 3 1.2247 nan 0.1000 0.0122
## 4 1.2025 nan 0.1000 0.0099
## 5 1.1827 nan 0.1000 0.0076
## 6 1.1632 nan 0.1000 0.0057
## 7 1.1489 nan 0.1000 0.0058
## 8 1.1340 nan 0.1000 0.0052
## 9 1.1199 nan 0.1000 0.0041
## 10 1.1100 nan 0.1000 0.0045
## 20 1.0476 nan 0.1000 0.0012
## 40 0.9884 nan 0.1000 0.0010
## 60 0.9524 nan 0.1000 -0.0006
## 80 0.9245 nan 0.1000 0.0004
## 100 0.9064 nan 0.1000 -0.0001
## 120 0.8887 nan 0.1000 -0.0004
## 140 0.8752 nan 0.1000 -0.0003
## 150 0.8670 nan 0.1000 -0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2686 nan 0.1000 0.0240
## 2 1.2320 nan 0.1000 0.0205
## 3 1.1959 nan 0.1000 0.0160
## 4 1.1609 nan 0.1000 0.0111
## 5 1.1334 nan 0.1000 0.0102
## 6 1.1072 nan 0.1000 0.0116
## 7 1.0835 nan 0.1000 0.0078
## 8 1.0708 nan 0.1000 0.0048
## 9 1.0590 nan 0.1000 0.0047
## 10 1.0452 nan 0.1000 0.0037
## 20 0.9485 nan 0.1000 0.0024
## 40 0.8567 nan 0.1000 0.0004
## 60 0.7997 nan 0.1000 -0.0020
## 80 0.7537 nan 0.1000 -0.0013
## 100 0.7118 nan 0.1000 -0.0008
## 120 0.6770 nan 0.1000 -0.0006
## 140 0.6425 nan 0.1000 -0.0004
## 150 0.6283 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2563 nan 0.1000 0.0269
## 2 1.2148 nan 0.1000 0.0228
## 3 1.1774 nan 0.1000 0.0179
## 4 1.1447 nan 0.1000 0.0155
## 5 1.1143 nan 0.1000 0.0103
## 6 1.0826 nan 0.1000 0.0124
## 7 1.0550 nan 0.1000 0.0101
## 8 1.0353 nan 0.1000 0.0084
## 9 1.0197 nan 0.1000 0.0064
## 10 1.0055 nan 0.1000 0.0062
## 20 0.9001 nan 0.1000 0.0011
## 40 0.7886 nan 0.1000 0.0028
## 60 0.7162 nan 0.1000 0.0001
## 80 0.6494 nan 0.1000 -0.0003
## 100 0.5942 nan 0.1000 0.0001
## 120 0.5506 nan 0.1000 -0.0009
## 140 0.5108 nan 0.1000 -0.0002
## 150 0.4945 nan 0.1000 -0.0016
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2913 nan 0.1000 0.0255
## 2 1.2654 nan 0.1000 0.0084
## 3 1.2277 nan 0.1000 0.0204
## 4 1.1905 nan 0.1000 0.0167
## 5 1.1744 nan 0.1000 0.0058
## 6 1.1467 nan 0.1000 0.0137
## 7 1.1247 nan 0.1000 0.0106
## 8 1.1057 nan 0.1000 0.0087
## 9 1.0915 nan 0.1000 0.0070
## 10 1.0782 nan 0.1000 0.0055
## 20 0.9885 nan 0.1000 0.0016
## 40 0.9115 nan 0.1000 -0.0008
## 60 0.8702 nan 0.1000 0.0005
## 80 0.8366 nan 0.1000 -0.0001
## 100 0.8088 nan 0.1000 -0.0002
## 120 0.7853 nan 0.1000 0.0001
## 140 0.7672 nan 0.1000 -0.0019
## 150 0.7616 nan 0.1000 -0.0005
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2714 nan 0.1000 0.0290
## 2 1.2176 nan 0.1000 0.0238
## 3 1.1806 nan 0.1000 0.0180
## 4 1.1452 nan 0.1000 0.0197
## 5 1.1151 nan 0.1000 0.0142
## 6 1.0883 nan 0.1000 0.0117
## 7 1.0693 nan 0.1000 0.0069
## 8 1.0476 nan 0.1000 0.0087
## 9 1.0280 nan 0.1000 0.0091
## 10 1.0114 nan 0.1000 0.0068
## 20 0.9121 nan 0.1000 0.0025
## 40 0.8136 nan 0.1000 0.0007
## 60 0.7349 nan 0.1000 0.0015
## 80 0.6763 nan 0.1000 0.0006
## 100 0.6313 nan 0.1000 -0.0010
## 120 0.5932 nan 0.1000 0.0007
## 140 0.5630 nan 0.1000 -0.0008
## 150 0.5482 nan 0.1000 -0.0004
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2662 nan 0.1000 0.0352
## 2 1.2026 nan 0.1000 0.0283
## 3 1.1525 nan 0.1000 0.0216
## 4 1.1088 nan 0.1000 0.0211
## 5 1.0748 nan 0.1000 0.0156
## 6 1.0458 nan 0.1000 0.0140
## 7 1.0195 nan 0.1000 0.0109
## 8 0.9998 nan 0.1000 0.0081
## 9 0.9803 nan 0.1000 0.0069
## 10 0.9626 nan 0.1000 0.0079
## 20 0.8451 nan 0.1000 -0.0002
## 40 0.7126 nan 0.1000 -0.0001
## 60 0.6263 nan 0.1000 -0.0006
## 80 0.5598 nan 0.1000 -0.0000
## 100 0.5120 nan 0.1000 -0.0001
## 120 0.4705 nan 0.1000 -0.0021
## 140 0.4352 nan 0.1000 -0.0011
## 150 0.4196 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2494 nan 0.1000 0.0305
## 2 1.2016 nan 0.1000 0.0235
## 3 1.1632 nan 0.1000 0.0191
## 4 1.1311 nan 0.1000 0.0161
## 5 1.1041 nan 0.1000 0.0129
## 6 1.0840 nan 0.1000 0.0107
## 7 1.0673 nan 0.1000 0.0087
## 8 1.0524 nan 0.1000 0.0048
## 9 1.0360 nan 0.1000 0.0070
## 10 1.0208 nan 0.1000 0.0053
## 20 0.9289 nan 0.1000 -0.0001
## 40 0.8557 nan 0.1000 0.0006
## 60 0.8203 nan 0.1000 -0.0003
## 80 0.7913 nan 0.1000 -0.0007
## 100 0.7697 nan 0.1000 -0.0001
## 120 0.7504 nan 0.1000 -0.0006
## 140 0.7344 nan 0.1000 -0.0016
## 150 0.7257 nan 0.1000 -0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2361 nan 0.1000 0.0369
## 2 1.1737 nan 0.1000 0.0282
## 3 1.1259 nan 0.1000 0.0230
## 4 1.0856 nan 0.1000 0.0170
## 5 1.0548 nan 0.1000 0.0165
## 6 1.0252 nan 0.1000 0.0136
## 7 1.0085 nan 0.1000 0.0045
## 8 0.9835 nan 0.1000 0.0112
## 9 0.9644 nan 0.1000 0.0070
## 10 0.9474 nan 0.1000 0.0050
## 20 0.8524 nan 0.1000 0.0007
## 40 0.7582 nan 0.1000 0.0007
## 60 0.7002 nan 0.1000 0.0001
## 80 0.6531 nan 0.1000 -0.0006
## 100 0.6167 nan 0.1000 -0.0023
## 120 0.5879 nan 0.1000 -0.0017
## 140 0.5651 nan 0.1000 -0.0006
## 150 0.5525 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2258 nan 0.1000 0.0386
## 2 1.1659 nan 0.1000 0.0254
## 3 1.1200 nan 0.1000 0.0215
## 4 1.0758 nan 0.1000 0.0225
## 5 1.0432 nan 0.1000 0.0120
## 6 1.0095 nan 0.1000 0.0170
## 7 0.9797 nan 0.1000 0.0121
## 8 0.9553 nan 0.1000 0.0122
## 9 0.9327 nan 0.1000 0.0090
## 10 0.9182 nan 0.1000 0.0056
## 20 0.8010 nan 0.1000 0.0008
## 40 0.6857 nan 0.1000 -0.0013
## 60 0.6046 nan 0.1000 0.0009
## 80 0.5479 nan 0.1000 -0.0006
## 100 0.5071 nan 0.1000 -0.0005
## 120 0.4758 nan 0.1000 -0.0015
## 140 0.4479 nan 0.1000 -0.0005
## 150 0.4368 nan 0.1000 -0.0017
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.2775 nan 0.1000 0.0295
## 2 1.2274 nan 0.1000 0.0254
## 3 1.1829 nan 0.1000 0.0206
## 4 1.1394 nan 0.1000 0.0164
## 5 1.1071 nan 0.1000 0.0124
## 6 1.0773 nan 0.1000 0.0129
## 7 1.0503 nan 0.1000 0.0096
## 8 1.0319 nan 0.1000 0.0064
## 9 1.0165 nan 0.1000 0.0070
## 10 1.0011 nan 0.1000 0.0061
## 20 0.9049 nan 0.1000 0.0001
## 40 0.8085 nan 0.1000 -0.0001
## 50 0.7774 nan 0.1000 -0.0009modBoost$finalModel## A gradient boosted model with bernoulli loss function.
## 50 iterations were performed.
## There were 7 predictors of which 7 had non-zero influence.predictBoost <- predict(modBoost, test)
cmBoost<- confusionMatrix(predictBoost, as.factor(test$Survived))
ggplot(data = as.data.frame(cmBoost$table),aes(x=Prediction,y=Reference,fill=Freq))+
geom_tile()+
theme_light()+
geom_text(aes(label = Freq),size = 8, color = "white")+
ggtitle("GBM Accuracy = 0.8202")
We then create a file which we can use for the submission. The
predictionTest <- predict(modBoost, testFinal)
predictionTest <- as.data.frame(predictionTest)
submitted <- cbind(testFinal$PassengerId,predictionTest)
colnames(submitted) <- c("PassengerID", "Survived")
write.csv(submitted,"testPredictions.csv", row.names = FALSE)Decision Trees
set.seed(3063)
modDT <- rpart(as.factor(Survived)~., train)
fancyRpartPlot(modDT)
predictDT <- predict(modDT,test,type = "class")
cmDT <- confusionMatrix(predictDT, as.factor(test$Survived))
ggplot(data = as.data.frame(cmDT$table),aes(x=Prediction,y=Reference,fill=Freq))+
geom_tile()+
theme_light()+
geom_text(aes(label = Freq),size = 8, color = "white")+
ggtitle("Random Forest Accuracy = 0.8034")