Practical Machine Learning - Project
Camille Tolentino
11/14/2020
Overview
This project aims to predict whether or not a specific activity is done correctly or incorrectly based on device accelerometer inputs. Using data from Groupware Human Activity Recognition Project, a model is generated for the purpose of prediction and tested on a given set.
Dataset
The training data for this project are available here:
https://d396qusza40orc.cloudfront.net/predmachlearn/pml-training.csv
The test data are available here:
https://d396qusza40orc.cloudfront.net/predmachlearn/pml-testing.csv
Data Loading and Exploratory Data Analysis
Packages Needed
library(caret)## Loading required package: lattice## Loading required package: ggplot2library(randomForest)## randomForest 4.6-12## Type rfNews() to see new features/changes/bug fixes.##
## Attaching package: 'randomForest'## The following object is masked from 'package:ggplot2':
##
## marginlibrary(ggplot2)
library(corrplot)## corrplot 0.84 loadedlibrary(gbm)## Loaded gbm 2.1.8library(e1071)
library(rpart)
library(rattle)## Loading required package: tibble## Loading required package: bitops## Rattle: A free graphical interface for data science with R.
## Version 5.4.0 Copyright (c) 2006-2020 Togaware Pty Ltd.
## Type 'rattle()' to shake, rattle, and roll your data.##
## Attaching package: 'rattle'## The following object is masked from 'package:randomForest':
##
## importanceData Preparation
The data that we have currently has 160 variables. We first want to split the training set into a training set and a validation set so we can check for the accuracy of different models on the data.
trainurl <- "https://d396qusza40orc.cloudfront.net/predmachlearn/pml-training.csv"
testurl <-"https://d396qusza40orc.cloudfront.net/predmachlearn/pml-testing.csv"
train <-read.csv(trainurl)
testing <-read.csv(testurl)
dim(train); dim(testing)## [1] 19622 160## [1] 20 160Since we will still be figuring out the best model for the prediction, we split the training set into a training set and validation set.
inTrain <- createDataPartition(y=train$classe,
p = 0.7, list = FALSE)
training <-train[inTrain,]
validating <-train[-inTrain,]Next, we check for variables we can possibly omit. To do this we check the variables with nearly zero variation and those variables with more than 95% of observations as NA. We use the training set to determine which variables have to go and apply the same processing to the validation set and test set.
zeroVar <- nearZeroVar(training)
training <- training[,-zeroVar]
validating <- validating[,-zeroVar]
testing <- testing[,-zeroVar]
naObs <- sapply(training, function(x) mean(is.na(x))) > 0.95
training <- training [, naObs == FALSE]
validating <- validating [, naObs == FALSE]
testing <- testing [, naObs == FALSE]
str(training)## 'data.frame': 13737 obs. of 59 variables:
## $ X : int 1 2 3 4 5 7 8 10 12 13 ...
## $ user_name : chr "carlitos" "carlitos" "carlitos" "carlitos" ...
## $ raw_timestamp_part_1: int 1323084231 1323084231 1323084231 1323084232 1323084232 1323084232 1323084232 1323084232 1323084232 1323084232 ...
## $ raw_timestamp_part_2: int 788290 808298 820366 120339 196328 368296 440390 484434 528316 560359 ...
## $ cvtd_timestamp : chr "05/12/2011 11:23" "05/12/2011 11:23" "05/12/2011 11:23" "05/12/2011 11:23" ...
## $ num_window : int 11 11 11 12 12 12 12 12 12 12 ...
## $ roll_belt : num 1.41 1.41 1.42 1.48 1.48 1.42 1.42 1.45 1.43 1.42 ...
## $ pitch_belt : num 8.07 8.07 8.07 8.05 8.07 8.09 8.13 8.17 8.18 8.2 ...
## $ yaw_belt : num -94.4 -94.4 -94.4 -94.4 -94.4 -94.4 -94.4 -94.4 -94.4 -94.4 ...
## $ total_accel_belt : int 3 3 3 3 3 3 3 3 3 3 ...
## $ gyros_belt_x : num 0 0.02 0 0.02 0.02 0.02 0.02 0.03 0.02 0.02 ...
## $ gyros_belt_y : num 0 0 0 0 0.02 0 0 0 0 0 ...
## $ gyros_belt_z : num -0.02 -0.02 -0.02 -0.03 -0.02 -0.02 -0.02 0 -0.02 0 ...
## $ accel_belt_x : int -21 -22 -20 -22 -21 -22 -22 -21 -22 -22 ...
## $ accel_belt_y : int 4 4 5 3 2 3 4 4 2 4 ...
## $ accel_belt_z : int 22 22 23 21 24 21 21 22 23 21 ...
## $ magnet_belt_x : int -3 -7 -2 -6 -6 -4 -2 -3 -2 -3 ...
## $ magnet_belt_y : int 599 608 600 604 600 599 603 609 602 606 ...
## $ magnet_belt_z : int -313 -311 -305 -310 -302 -311 -313 -308 -319 -309 ...
## $ roll_arm : num -128 -128 -128 -128 -128 -128 -128 -128 -128 -128 ...
## $ pitch_arm : num 22.5 22.5 22.5 22.1 22.1 21.9 21.8 21.6 21.5 21.4 ...
## $ yaw_arm : num -161 -161 -161 -161 -161 -161 -161 -161 -161 -161 ...
## $ total_accel_arm : int 34 34 34 34 34 34 34 34 34 34 ...
## $ gyros_arm_x : num 0 0.02 0.02 0.02 0 0 0.02 0.02 0.02 0.02 ...
## $ gyros_arm_y : num 0 -0.02 -0.02 -0.03 -0.03 -0.03 -0.02 -0.03 -0.03 -0.02 ...
## $ gyros_arm_z : num -0.02 -0.02 -0.02 0.02 0 0 0 -0.02 0 -0.02 ...
## $ accel_arm_x : int -288 -290 -289 -289 -289 -289 -289 -288 -288 -287 ...
## $ accel_arm_y : int 109 110 110 111 111 111 111 110 111 111 ...
## $ accel_arm_z : int -123 -125 -126 -123 -123 -125 -124 -124 -123 -124 ...
## $ magnet_arm_x : int -368 -369 -368 -372 -374 -373 -372 -376 -363 -372 ...
## $ magnet_arm_y : int 337 337 344 344 337 336 338 334 343 338 ...
## $ magnet_arm_z : int 516 513 513 512 506 509 510 516 520 509 ...
## $ roll_dumbbell : num 13.1 13.1 12.9 13.4 13.4 ...
## $ pitch_dumbbell : num -70.5 -70.6 -70.3 -70.4 -70.4 ...
## $ yaw_dumbbell : num -84.9 -84.7 -85.1 -84.9 -84.9 ...
## $ total_accel_dumbbell: int 37 37 37 37 37 37 37 37 37 37 ...
## $ gyros_dumbbell_x : num 0 0 0 0 0 0 0 0 0 0 ...
## $ gyros_dumbbell_y : num -0.02 -0.02 -0.02 -0.02 -0.02 -0.02 -0.02 -0.02 -0.02 -0.02 ...
## $ gyros_dumbbell_z : num 0 0 0 -0.02 0 0 0 0 0 -0.02 ...
## $ accel_dumbbell_x : int -234 -233 -232 -232 -233 -232 -234 -235 -233 -234 ...
## $ accel_dumbbell_y : int 47 47 46 48 48 47 46 48 47 48 ...
## $ accel_dumbbell_z : int -271 -269 -270 -269 -270 -270 -272 -270 -270 -269 ...
## $ magnet_dumbbell_x : int -559 -555 -561 -552 -554 -551 -555 -558 -554 -552 ...
## $ magnet_dumbbell_y : int 293 296 298 303 292 295 300 291 291 302 ...
## $ magnet_dumbbell_z : num -65 -64 -63 -60 -68 -70 -74 -69 -65 -69 ...
## $ roll_forearm : num 28.4 28.3 28.3 28.1 28 27.9 27.8 27.7 27.5 27.2 ...
## $ pitch_forearm : num -63.9 -63.9 -63.9 -63.9 -63.9 -63.9 -63.8 -63.8 -63.8 -63.9 ...
## $ yaw_forearm : num -153 -153 -152 -152 -152 -152 -152 -152 -152 -151 ...
## $ total_accel_forearm : int 36 36 36 36 36 36 36 36 36 36 ...
## $ gyros_forearm_x : num 0.03 0.02 0.03 0.02 0.02 0.02 0.02 0.02 0.02 0 ...
## $ gyros_forearm_y : num 0 0 -0.02 -0.02 0 0 -0.02 0 0.02 0 ...
## $ gyros_forearm_z : num -0.02 -0.02 0 0 -0.02 -0.02 0 -0.02 -0.03 -0.03 ...
## $ accel_forearm_x : int 192 192 196 189 189 195 193 190 191 193 ...
## $ accel_forearm_y : int 203 203 204 206 206 205 205 205 203 205 ...
## $ accel_forearm_z : int -215 -216 -213 -214 -214 -215 -213 -215 -215 -215 ...
## $ magnet_forearm_x : int -17 -18 -18 -16 -17 -18 -9 -22 -11 -15 ...
## $ magnet_forearm_y : num 654 661 658 658 655 659 660 656 657 655 ...
## $ magnet_forearm_z : num 476 473 469 469 473 470 474 473 478 472 ...
## $ classe : chr "A" "A" "A" "A" ...We now have 59 variables left for consideration. Looking at the first 5 however, these are descriptive variables that will be of no help to our calculations. We can then proceed with omitting them as well.
training <- training[,-(1:5)]
validating <- validating[,-(1:5)]
testing <- testing[,-(1:5)]Before we proceed with building our model, we want to see how many of our remaining variables are correlated. To do so, we use corrplot to check create a visual correlation matrix for the remaining 54 variables.
corMatrix <- cor(training[, -54])
corrplot(corMatrix, order = "FPC",
method = "color", type = "lower",
tl.cex = 0.3, tl.col = "black")
Seeing as we still have quite a number of variables with correlation > 0.8 represented by the darker shades of red and blue, we will use PCA as the preprocess function when we use the caret train function.
Methodology Testing
we will be considering different prediction methodologies against the validation set and checking the one with best accuracy in order to choose the final methodology to use on the test set.
Random Forest
modRF <- train(classe ~., method = "rf",data=training, preProcess="pca") ## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid range
## Warning in randomForest.default(x, y, mtry = param$mtry, ...): invalid mtry:
## reset to within valid rangemodRF$finalModel##
## Call:
## randomForest(x = x, y = y, mtry = param$mtry)
## Type of random forest: classification
## Number of trees: 500
## No. of variables tried at each split: 2
##
## OOB estimate of error rate: 2.26%
## Confusion matrix:
## A B C D E class.error
## A 3883 5 10 5 3 0.005888377
## B 43 2565 44 1 5 0.034988713
## C 6 26 2338 25 1 0.024207012
## D 3 4 94 2145 6 0.047513321
## E 2 4 11 13 2495 0.011881188We then want to see the accuracy of this model against the validation set. We do this by using the confusion matrix and then plotting the results.
predictRF <- predict(modRF, validating)
cmRF<-confusionMatrix(predictRF, as.factor(validating$classe))
ggplot(data = as.data.frame(cmRF$table),aes(x=Prediction,y=Reference,fill=Freq))+
geom_tile()+
theme_light()+
geom_text(aes(label = Freq),size = 8, color = "white")+
ggtitle("Random Forest Accuracy = 0.9779")
Generalized Boost
modBoost <- train(classe ~., method = "gbm",data=training, preProcess="pca")## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0572
## 2 1.5737 nan 0.1000 0.0485
## 3 1.5442 nan 0.1000 0.0395
## 4 1.5201 nan 0.1000 0.0340
## 5 1.4988 nan 0.1000 0.0304
## 6 1.4800 nan 0.1000 0.0235
## 7 1.4647 nan 0.1000 0.0270
## 8 1.4488 nan 0.1000 0.0185
## 9 1.4362 nan 0.1000 0.0194
## 10 1.4237 nan 0.1000 0.0184
## 20 1.3304 nan 0.1000 0.0098
## 40 1.2111 nan 0.1000 0.0054
## 60 1.1324 nan 0.1000 0.0046
## 80 1.0736 nan 0.1000 0.0027
## 100 1.0284 nan 0.1000 0.0028
## 120 0.9898 nan 0.1000 0.0014
## 140 0.9575 nan 0.1000 0.0013
## 150 0.9437 nan 0.1000 0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1157
## 2 1.5409 nan 0.1000 0.0784
## 3 1.4938 nan 0.1000 0.0651
## 4 1.4549 nan 0.1000 0.0474
## 5 1.4245 nan 0.1000 0.0429
## 6 1.3982 nan 0.1000 0.0396
## 7 1.3733 nan 0.1000 0.0286
## 8 1.3539 nan 0.1000 0.0284
## 9 1.3351 nan 0.1000 0.0252
## 10 1.3178 nan 0.1000 0.0241
## 20 1.1856 nan 0.1000 0.0129
## 40 1.0279 nan 0.1000 0.0083
## 60 0.9217 nan 0.1000 0.0040
## 80 0.8452 nan 0.1000 0.0053
## 100 0.7825 nan 0.1000 0.0031
## 120 0.7316 nan 0.1000 0.0026
## 140 0.6876 nan 0.1000 0.0018
## 150 0.6685 nan 0.1000 0.0024
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1199
## 2 1.5366 nan 0.1000 0.1030
## 3 1.4727 nan 0.1000 0.0765
## 4 1.4248 nan 0.1000 0.0664
## 5 1.3837 nan 0.1000 0.0530
## 6 1.3507 nan 0.1000 0.0501
## 7 1.3203 nan 0.1000 0.0433
## 8 1.2937 nan 0.1000 0.0394
## 9 1.2690 nan 0.1000 0.0339
## 10 1.2475 nan 0.1000 0.0288
## 20 1.0854 nan 0.1000 0.0156
## 40 0.9039 nan 0.1000 0.0105
## 60 0.7892 nan 0.1000 0.0057
## 80 0.7033 nan 0.1000 0.0031
## 100 0.6367 nan 0.1000 0.0037
## 120 0.5804 nan 0.1000 0.0020
## 140 0.5342 nan 0.1000 0.0038
## 150 0.5119 nan 0.1000 0.0017
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0465
## 2 1.5808 nan 0.1000 0.0357
## 3 1.5583 nan 0.1000 0.0314
## 4 1.5380 nan 0.1000 0.0300
## 5 1.5190 nan 0.1000 0.0249
## 6 1.5030 nan 0.1000 0.0226
## 7 1.4880 nan 0.1000 0.0214
## 8 1.4738 nan 0.1000 0.0196
## 9 1.4613 nan 0.1000 0.0188
## 10 1.4489 nan 0.1000 0.0190
## 20 1.3526 nan 0.1000 0.0122
## 40 1.2300 nan 0.1000 0.0072
## 60 1.1450 nan 0.1000 0.0047
## 80 1.0809 nan 0.1000 0.0048
## 100 1.0316 nan 0.1000 0.0020
## 120 0.9909 nan 0.1000 0.0015
## 140 0.9575 nan 0.1000 0.0014
## 150 0.9424 nan 0.1000 0.0013
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0742
## 2 1.5637 nan 0.1000 0.0602
## 3 1.5263 nan 0.1000 0.0473
## 4 1.4958 nan 0.1000 0.0408
## 5 1.4682 nan 0.1000 0.0497
## 6 1.4386 nan 0.1000 0.0405
## 7 1.4125 nan 0.1000 0.0358
## 8 1.3903 nan 0.1000 0.0298
## 9 1.3715 nan 0.1000 0.0297
## 10 1.3515 nan 0.1000 0.0257
## 20 1.2118 nan 0.1000 0.0146
## 40 1.0429 nan 0.1000 0.0078
## 60 0.9344 nan 0.1000 0.0055
## 80 0.8535 nan 0.1000 0.0039
## 100 0.7920 nan 0.1000 0.0026
## 120 0.7407 nan 0.1000 0.0031
## 140 0.6965 nan 0.1000 0.0021
## 150 0.6755 nan 0.1000 0.0013
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0985
## 2 1.5494 nan 0.1000 0.0742
## 3 1.5030 nan 0.1000 0.0748
## 4 1.4580 nan 0.1000 0.0644
## 5 1.4195 nan 0.1000 0.0568
## 6 1.3847 nan 0.1000 0.0469
## 7 1.3557 nan 0.1000 0.0470
## 8 1.3260 nan 0.1000 0.0390
## 9 1.3006 nan 0.1000 0.0370
## 10 1.2748 nan 0.1000 0.0288
## 20 1.1049 nan 0.1000 0.0168
## 40 0.9170 nan 0.1000 0.0099
## 60 0.8006 nan 0.1000 0.0066
## 80 0.7138 nan 0.1000 0.0043
## 100 0.6471 nan 0.1000 0.0032
## 120 0.5909 nan 0.1000 0.0030
## 140 0.5417 nan 0.1000 0.0025
## 150 0.5217 nan 0.1000 0.0022
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0524
## 2 1.5784 nan 0.1000 0.0404
## 3 1.5542 nan 0.1000 0.0359
## 4 1.5318 nan 0.1000 0.0339
## 5 1.5116 nan 0.1000 0.0290
## 6 1.4929 nan 0.1000 0.0260
## 7 1.4772 nan 0.1000 0.0231
## 8 1.4623 nan 0.1000 0.0201
## 9 1.4492 nan 0.1000 0.0207
## 10 1.4357 nan 0.1000 0.0168
## 20 1.3393 nan 0.1000 0.0130
## 40 1.2184 nan 0.1000 0.0058
## 60 1.1399 nan 0.1000 0.0046
## 80 1.0790 nan 0.1000 0.0039
## 100 1.0322 nan 0.1000 0.0033
## 120 0.9922 nan 0.1000 0.0014
## 140 0.9599 nan 0.1000 0.0015
## 150 0.9452 nan 0.1000 0.0017
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0840
## 2 1.5569 nan 0.1000 0.0666
## 3 1.5157 nan 0.1000 0.0632
## 4 1.4776 nan 0.1000 0.0533
## 5 1.4457 nan 0.1000 0.0480
## 6 1.4158 nan 0.1000 0.0403
## 7 1.3909 nan 0.1000 0.0343
## 8 1.3686 nan 0.1000 0.0306
## 9 1.3485 nan 0.1000 0.0283
## 10 1.3297 nan 0.1000 0.0250
## 20 1.1875 nan 0.1000 0.0135
## 40 1.0309 nan 0.1000 0.0074
## 60 0.9254 nan 0.1000 0.0047
## 80 0.8501 nan 0.1000 0.0039
## 100 0.7874 nan 0.1000 0.0022
## 120 0.7358 nan 0.1000 0.0024
## 140 0.6908 nan 0.1000 0.0033
## 150 0.6718 nan 0.1000 0.0012
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1145
## 2 1.5400 nan 0.1000 0.0866
## 3 1.4867 nan 0.1000 0.0689
## 4 1.4436 nan 0.1000 0.0634
## 5 1.4040 nan 0.1000 0.0530
## 6 1.3704 nan 0.1000 0.0497
## 7 1.3392 nan 0.1000 0.0463
## 8 1.3094 nan 0.1000 0.0433
## 9 1.2822 nan 0.1000 0.0363
## 10 1.2585 nan 0.1000 0.0342
## 20 1.0872 nan 0.1000 0.0176
## 40 0.9080 nan 0.1000 0.0111
## 60 0.7929 nan 0.1000 0.0075
## 80 0.7089 nan 0.1000 0.0040
## 100 0.6414 nan 0.1000 0.0039
## 120 0.5827 nan 0.1000 0.0023
## 140 0.5342 nan 0.1000 0.0037
## 150 0.5108 nan 0.1000 0.0017
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0572
## 2 1.5758 nan 0.1000 0.0391
## 3 1.5514 nan 0.1000 0.0365
## 4 1.5290 nan 0.1000 0.0329
## 5 1.5084 nan 0.1000 0.0282
## 6 1.4903 nan 0.1000 0.0253
## 7 1.4748 nan 0.1000 0.0248
## 8 1.4590 nan 0.1000 0.0206
## 9 1.4448 nan 0.1000 0.0197
## 10 1.4322 nan 0.1000 0.0182
## 20 1.3374 nan 0.1000 0.0113
## 40 1.2143 nan 0.1000 0.0065
## 60 1.1318 nan 0.1000 0.0047
## 80 1.0685 nan 0.1000 0.0033
## 100 1.0206 nan 0.1000 0.0021
## 120 0.9800 nan 0.1000 0.0014
## 140 0.9475 nan 0.1000 0.0014
## 150 0.9328 nan 0.1000 0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0863
## 2 1.5563 nan 0.1000 0.0638
## 3 1.5165 nan 0.1000 0.0635
## 4 1.4771 nan 0.1000 0.0491
## 5 1.4452 nan 0.1000 0.0480
## 6 1.4165 nan 0.1000 0.0385
## 7 1.3918 nan 0.1000 0.0378
## 8 1.3680 nan 0.1000 0.0343
## 9 1.3466 nan 0.1000 0.0296
## 10 1.3275 nan 0.1000 0.0255
## 20 1.1832 nan 0.1000 0.0154
## 40 1.0167 nan 0.1000 0.0094
## 60 0.9104 nan 0.1000 0.0055
## 80 0.8362 nan 0.1000 0.0037
## 100 0.7770 nan 0.1000 0.0025
## 120 0.7267 nan 0.1000 0.0032
## 140 0.6819 nan 0.1000 0.0018
## 150 0.6624 nan 0.1000 0.0026
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1157
## 2 1.5382 nan 0.1000 0.0976
## 3 1.4790 nan 0.1000 0.0754
## 4 1.4334 nan 0.1000 0.0599
## 5 1.3963 nan 0.1000 0.0585
## 6 1.3606 nan 0.1000 0.0463
## 7 1.3321 nan 0.1000 0.0449
## 8 1.3027 nan 0.1000 0.0413
## 9 1.2771 nan 0.1000 0.0390
## 10 1.2517 nan 0.1000 0.0356
## 20 1.0856 nan 0.1000 0.0178
## 40 0.8956 nan 0.1000 0.0089
## 60 0.7861 nan 0.1000 0.0061
## 80 0.7040 nan 0.1000 0.0049
## 100 0.6396 nan 0.1000 0.0039
## 120 0.5813 nan 0.1000 0.0021
## 140 0.5348 nan 0.1000 0.0014
## 150 0.5146 nan 0.1000 0.0027
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0535
## 2 1.5767 nan 0.1000 0.0417
## 3 1.5507 nan 0.1000 0.0342
## 4 1.5286 nan 0.1000 0.0300
## 5 1.5095 nan 0.1000 0.0250
## 6 1.4934 nan 0.1000 0.0239
## 7 1.4782 nan 0.1000 0.0233
## 8 1.4635 nan 0.1000 0.0195
## 9 1.4499 nan 0.1000 0.0206
## 10 1.4364 nan 0.1000 0.0197
## 20 1.3411 nan 0.1000 0.0098
## 40 1.2218 nan 0.1000 0.0076
## 60 1.1390 nan 0.1000 0.0050
## 80 1.0777 nan 0.1000 0.0032
## 100 1.0295 nan 0.1000 0.0029
## 120 0.9895 nan 0.1000 0.0017
## 140 0.9562 nan 0.1000 0.0016
## 150 0.9415 nan 0.1000 0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0788
## 2 1.5615 nan 0.1000 0.0602
## 3 1.5249 nan 0.1000 0.0489
## 4 1.4926 nan 0.1000 0.0449
## 5 1.4644 nan 0.1000 0.0476
## 6 1.4354 nan 0.1000 0.0382
## 7 1.4110 nan 0.1000 0.0361
## 8 1.3886 nan 0.1000 0.0335
## 9 1.3669 nan 0.1000 0.0289
## 10 1.3485 nan 0.1000 0.0283
## 20 1.2102 nan 0.1000 0.0169
## 40 1.0430 nan 0.1000 0.0079
## 60 0.9365 nan 0.1000 0.0065
## 80 0.8572 nan 0.1000 0.0048
## 100 0.7912 nan 0.1000 0.0019
## 120 0.7413 nan 0.1000 0.0036
## 140 0.6990 nan 0.1000 0.0023
## 150 0.6787 nan 0.1000 0.0020
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1015
## 2 1.5477 nan 0.1000 0.0780
## 3 1.4980 nan 0.1000 0.0740
## 4 1.4528 nan 0.1000 0.0565
## 5 1.4166 nan 0.1000 0.0566
## 6 1.3811 nan 0.1000 0.0451
## 7 1.3528 nan 0.1000 0.0416
## 8 1.3266 nan 0.1000 0.0446
## 9 1.2995 nan 0.1000 0.0328
## 10 1.2777 nan 0.1000 0.0323
## 20 1.1048 nan 0.1000 0.0173
## 40 0.9185 nan 0.1000 0.0092
## 60 0.8036 nan 0.1000 0.0065
## 80 0.7180 nan 0.1000 0.0035
## 100 0.6486 nan 0.1000 0.0046
## 120 0.5911 nan 0.1000 0.0034
## 140 0.5424 nan 0.1000 0.0038
## 150 0.5200 nan 0.1000 0.0013
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0584
## 2 1.5725 nan 0.1000 0.0439
## 3 1.5450 nan 0.1000 0.0388
## 4 1.5217 nan 0.1000 0.0360
## 5 1.4998 nan 0.1000 0.0278
## 6 1.4814 nan 0.1000 0.0244
## 7 1.4661 nan 0.1000 0.0249
## 8 1.4505 nan 0.1000 0.0218
## 9 1.4363 nan 0.1000 0.0178
## 10 1.4239 nan 0.1000 0.0182
## 20 1.3290 nan 0.1000 0.0107
## 40 1.2092 nan 0.1000 0.0064
## 60 1.1302 nan 0.1000 0.0039
## 80 1.0728 nan 0.1000 0.0031
## 100 1.0263 nan 0.1000 0.0023
## 120 0.9878 nan 0.1000 0.0023
## 140 0.9549 nan 0.1000 0.0016
## 150 0.9409 nan 0.1000 0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0919
## 2 1.5532 nan 0.1000 0.0820
## 3 1.5024 nan 0.1000 0.0629
## 4 1.4634 nan 0.1000 0.0525
## 5 1.4314 nan 0.1000 0.0423
## 6 1.4030 nan 0.1000 0.0365
## 7 1.3797 nan 0.1000 0.0326
## 8 1.3587 nan 0.1000 0.0324
## 9 1.3376 nan 0.1000 0.0301
## 10 1.3185 nan 0.1000 0.0249
## 20 1.1831 nan 0.1000 0.0121
## 40 1.0244 nan 0.1000 0.0080
## 60 0.9234 nan 0.1000 0.0063
## 80 0.8428 nan 0.1000 0.0055
## 100 0.7819 nan 0.1000 0.0029
## 120 0.7308 nan 0.1000 0.0026
## 140 0.6862 nan 0.1000 0.0016
## 150 0.6650 nan 0.1000 0.0012
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1146
## 2 1.5404 nan 0.1000 0.0858
## 3 1.4868 nan 0.1000 0.0793
## 4 1.4369 nan 0.1000 0.0706
## 5 1.3933 nan 0.1000 0.0545
## 6 1.3595 nan 0.1000 0.0537
## 7 1.3262 nan 0.1000 0.0402
## 8 1.2997 nan 0.1000 0.0366
## 9 1.2750 nan 0.1000 0.0362
## 10 1.2515 nan 0.1000 0.0336
## 20 1.0851 nan 0.1000 0.0165
## 40 0.9041 nan 0.1000 0.0109
## 60 0.7897 nan 0.1000 0.0077
## 80 0.7053 nan 0.1000 0.0041
## 100 0.6388 nan 0.1000 0.0031
## 120 0.5824 nan 0.1000 0.0037
## 140 0.5348 nan 0.1000 0.0023
## 150 0.5126 nan 0.1000 0.0017
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0558
## 2 1.5766 nan 0.1000 0.0478
## 3 1.5483 nan 0.1000 0.0375
## 4 1.5244 nan 0.1000 0.0304
## 5 1.5057 nan 0.1000 0.0286
## 6 1.4873 nan 0.1000 0.0247
## 7 1.4713 nan 0.1000 0.0237
## 8 1.4562 nan 0.1000 0.0220
## 9 1.4418 nan 0.1000 0.0195
## 10 1.4284 nan 0.1000 0.0166
## 20 1.3339 nan 0.1000 0.0117
## 40 1.2142 nan 0.1000 0.0061
## 60 1.1308 nan 0.1000 0.0053
## 80 1.0688 nan 0.1000 0.0037
## 100 1.0205 nan 0.1000 0.0019
## 120 0.9815 nan 0.1000 0.0017
## 140 0.9487 nan 0.1000 0.0017
## 150 0.9342 nan 0.1000 0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0851
## 2 1.5569 nan 0.1000 0.0824
## 3 1.5080 nan 0.1000 0.0589
## 4 1.4712 nan 0.1000 0.0512
## 5 1.4389 nan 0.1000 0.0448
## 6 1.4099 nan 0.1000 0.0383
## 7 1.3859 nan 0.1000 0.0355
## 8 1.3630 nan 0.1000 0.0280
## 9 1.3439 nan 0.1000 0.0259
## 10 1.3268 nan 0.1000 0.0271
## 20 1.1839 nan 0.1000 0.0143
## 40 1.0217 nan 0.1000 0.0096
## 60 0.9108 nan 0.1000 0.0051
## 80 0.8327 nan 0.1000 0.0038
## 100 0.7730 nan 0.1000 0.0033
## 120 0.7232 nan 0.1000 0.0023
## 140 0.6765 nan 0.1000 0.0040
## 150 0.6552 nan 0.1000 0.0028
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1147
## 2 1.5402 nan 0.1000 0.0983
## 3 1.4809 nan 0.1000 0.0779
## 4 1.4319 nan 0.1000 0.0649
## 5 1.3926 nan 0.1000 0.0541
## 6 1.3580 nan 0.1000 0.0447
## 7 1.3298 nan 0.1000 0.0454
## 8 1.3017 nan 0.1000 0.0417
## 9 1.2758 nan 0.1000 0.0348
## 10 1.2536 nan 0.1000 0.0351
## 20 1.0850 nan 0.1000 0.0162
## 40 0.8963 nan 0.1000 0.0114
## 60 0.7788 nan 0.1000 0.0068
## 80 0.6943 nan 0.1000 0.0037
## 100 0.6293 nan 0.1000 0.0030
## 120 0.5733 nan 0.1000 0.0027
## 140 0.5267 nan 0.1000 0.0024
## 150 0.5071 nan 0.1000 0.0023
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0567
## 2 1.5757 nan 0.1000 0.0450
## 3 1.5487 nan 0.1000 0.0360
## 4 1.5268 nan 0.1000 0.0340
## 5 1.5063 nan 0.1000 0.0282
## 6 1.4882 nan 0.1000 0.0247
## 7 1.4718 nan 0.1000 0.0230
## 8 1.4567 nan 0.1000 0.0215
## 9 1.4429 nan 0.1000 0.0209
## 10 1.4296 nan 0.1000 0.0190
## 20 1.3298 nan 0.1000 0.0108
## 40 1.2072 nan 0.1000 0.0070
## 60 1.1274 nan 0.1000 0.0050
## 80 1.0660 nan 0.1000 0.0029
## 100 1.0184 nan 0.1000 0.0016
## 120 0.9779 nan 0.1000 0.0012
## 140 0.9453 nan 0.1000 0.0012
## 150 0.9303 nan 0.1000 0.0009
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0874
## 2 1.5559 nan 0.1000 0.0676
## 3 1.5135 nan 0.1000 0.0644
## 4 1.4728 nan 0.1000 0.0536
## 5 1.4387 nan 0.1000 0.0476
## 6 1.4093 nan 0.1000 0.0416
## 7 1.3835 nan 0.1000 0.0361
## 8 1.3604 nan 0.1000 0.0312
## 9 1.3397 nan 0.1000 0.0293
## 10 1.3204 nan 0.1000 0.0266
## 20 1.1801 nan 0.1000 0.0157
## 40 1.0146 nan 0.1000 0.0110
## 60 0.9088 nan 0.1000 0.0070
## 80 0.8350 nan 0.1000 0.0061
## 100 0.7732 nan 0.1000 0.0035
## 120 0.7236 nan 0.1000 0.0024
## 140 0.6787 nan 0.1000 0.0022
## 150 0.6589 nan 0.1000 0.0018
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1171
## 2 1.5365 nan 0.1000 0.0849
## 3 1.4826 nan 0.1000 0.0713
## 4 1.4384 nan 0.1000 0.0691
## 5 1.3961 nan 0.1000 0.0606
## 6 1.3577 nan 0.1000 0.0458
## 7 1.3292 nan 0.1000 0.0426
## 8 1.3025 nan 0.1000 0.0363
## 9 1.2783 nan 0.1000 0.0376
## 10 1.2544 nan 0.1000 0.0384
## 20 1.0839 nan 0.1000 0.0190
## 40 0.8918 nan 0.1000 0.0093
## 60 0.7791 nan 0.1000 0.0046
## 80 0.6958 nan 0.1000 0.0059
## 100 0.6270 nan 0.1000 0.0031
## 120 0.5694 nan 0.1000 0.0034
## 140 0.5197 nan 0.1000 0.0019
## 150 0.4997 nan 0.1000 0.0018
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0548
## 2 1.5772 nan 0.1000 0.0409
## 3 1.5527 nan 0.1000 0.0368
## 4 1.5307 nan 0.1000 0.0294
## 5 1.5120 nan 0.1000 0.0270
## 6 1.4951 nan 0.1000 0.0207
## 7 1.4808 nan 0.1000 0.0237
## 8 1.4659 nan 0.1000 0.0204
## 9 1.4525 nan 0.1000 0.0167
## 10 1.4410 nan 0.1000 0.0171
## 20 1.3457 nan 0.1000 0.0099
## 40 1.2232 nan 0.1000 0.0067
## 60 1.1401 nan 0.1000 0.0051
## 80 1.0784 nan 0.1000 0.0029
## 100 1.0279 nan 0.1000 0.0034
## 120 0.9884 nan 0.1000 0.0016
## 140 0.9537 nan 0.1000 0.0010
## 150 0.9396 nan 0.1000 0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0800
## 2 1.5605 nan 0.1000 0.0643
## 3 1.5216 nan 0.1000 0.0496
## 4 1.4880 nan 0.1000 0.0514
## 5 1.4553 nan 0.1000 0.0430
## 6 1.4279 nan 0.1000 0.0412
## 7 1.4026 nan 0.1000 0.0358
## 8 1.3800 nan 0.1000 0.0319
## 9 1.3601 nan 0.1000 0.0287
## 10 1.3410 nan 0.1000 0.0265
## 20 1.1988 nan 0.1000 0.0175
## 40 1.0271 nan 0.1000 0.0080
## 60 0.9213 nan 0.1000 0.0056
## 80 0.8451 nan 0.1000 0.0056
## 100 0.7842 nan 0.1000 0.0026
## 120 0.7335 nan 0.1000 0.0026
## 140 0.6912 nan 0.1000 0.0017
## 150 0.6712 nan 0.1000 0.0018
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1067
## 2 1.5442 nan 0.1000 0.0779
## 3 1.4972 nan 0.1000 0.0762
## 4 1.4498 nan 0.1000 0.0673
## 5 1.4075 nan 0.1000 0.0566
## 6 1.3719 nan 0.1000 0.0477
## 7 1.3409 nan 0.1000 0.0455
## 8 1.3114 nan 0.1000 0.0410
## 9 1.2860 nan 0.1000 0.0340
## 10 1.2634 nan 0.1000 0.0337
## 20 1.0910 nan 0.1000 0.0185
## 40 0.9017 nan 0.1000 0.0118
## 60 0.7821 nan 0.1000 0.0060
## 80 0.6993 nan 0.1000 0.0038
## 100 0.6345 nan 0.1000 0.0039
## 120 0.5815 nan 0.1000 0.0018
## 140 0.5366 nan 0.1000 0.0015
## 150 0.5167 nan 0.1000 0.0023
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0578
## 2 1.5736 nan 0.1000 0.0419
## 3 1.5482 nan 0.1000 0.0388
## 4 1.5237 nan 0.1000 0.0346
## 5 1.5016 nan 0.1000 0.0278
## 6 1.4846 nan 0.1000 0.0236
## 7 1.4691 nan 0.1000 0.0239
## 8 1.4537 nan 0.1000 0.0202
## 9 1.4407 nan 0.1000 0.0196
## 10 1.4278 nan 0.1000 0.0180
## 20 1.3332 nan 0.1000 0.0105
## 40 1.2129 nan 0.1000 0.0081
## 60 1.1302 nan 0.1000 0.0045
## 80 1.0689 nan 0.1000 0.0033
## 100 1.0221 nan 0.1000 0.0031
## 120 0.9817 nan 0.1000 0.0023
## 140 0.9490 nan 0.1000 0.0019
## 150 0.9337 nan 0.1000 0.0017
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0906
## 2 1.5537 nan 0.1000 0.0790
## 3 1.5052 nan 0.1000 0.0543
## 4 1.4708 nan 0.1000 0.0496
## 5 1.4400 nan 0.1000 0.0458
## 6 1.4116 nan 0.1000 0.0384
## 7 1.3867 nan 0.1000 0.0343
## 8 1.3647 nan 0.1000 0.0316
## 9 1.3428 nan 0.1000 0.0312
## 10 1.3231 nan 0.1000 0.0251
## 20 1.1849 nan 0.1000 0.0139
## 40 1.0262 nan 0.1000 0.0086
## 60 0.9227 nan 0.1000 0.0065
## 80 0.8443 nan 0.1000 0.0034
## 100 0.7846 nan 0.1000 0.0038
## 120 0.7314 nan 0.1000 0.0014
## 140 0.6879 nan 0.1000 0.0024
## 150 0.6670 nan 0.1000 0.0014
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1208
## 2 1.5359 nan 0.1000 0.0862
## 3 1.4816 nan 0.1000 0.0712
## 4 1.4359 nan 0.1000 0.0615
## 5 1.3977 nan 0.1000 0.0599
## 6 1.3607 nan 0.1000 0.0486
## 7 1.3296 nan 0.1000 0.0422
## 8 1.3017 nan 0.1000 0.0396
## 9 1.2754 nan 0.1000 0.0361
## 10 1.2515 nan 0.1000 0.0313
## 20 1.0835 nan 0.1000 0.0185
## 40 0.9007 nan 0.1000 0.0082
## 60 0.7862 nan 0.1000 0.0060
## 80 0.7018 nan 0.1000 0.0044
## 100 0.6363 nan 0.1000 0.0043
## 120 0.5781 nan 0.1000 0.0016
## 140 0.5315 nan 0.1000 0.0020
## 150 0.5111 nan 0.1000 0.0018
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0445
## 2 1.5820 nan 0.1000 0.0391
## 3 1.5584 nan 0.1000 0.0327
## 4 1.5385 nan 0.1000 0.0283
## 5 1.5202 nan 0.1000 0.0235
## 6 1.5050 nan 0.1000 0.0218
## 7 1.4909 nan 0.1000 0.0211
## 8 1.4769 nan 0.1000 0.0185
## 9 1.4644 nan 0.1000 0.0185
## 10 1.4516 nan 0.1000 0.0167
## 20 1.3588 nan 0.1000 0.0115
## 40 1.2356 nan 0.1000 0.0062
## 60 1.1510 nan 0.1000 0.0041
## 80 1.0892 nan 0.1000 0.0025
## 100 1.0399 nan 0.1000 0.0024
## 120 0.9989 nan 0.1000 0.0018
## 140 0.9642 nan 0.1000 0.0013
## 150 0.9500 nan 0.1000 0.0016
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0717
## 2 1.5647 nan 0.1000 0.0581
## 3 1.5277 nan 0.1000 0.0444
## 4 1.4995 nan 0.1000 0.0562
## 5 1.4644 nan 0.1000 0.0451
## 6 1.4365 nan 0.1000 0.0383
## 7 1.4122 nan 0.1000 0.0306
## 8 1.3919 nan 0.1000 0.0306
## 9 1.3718 nan 0.1000 0.0282
## 10 1.3529 nan 0.1000 0.0276
## 20 1.2097 nan 0.1000 0.0173
## 40 1.0394 nan 0.1000 0.0096
## 60 0.9314 nan 0.1000 0.0072
## 80 0.8540 nan 0.1000 0.0043
## 100 0.7920 nan 0.1000 0.0025
## 120 0.7402 nan 0.1000 0.0027
## 140 0.6947 nan 0.1000 0.0022
## 150 0.6754 nan 0.1000 0.0026
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0934
## 2 1.5507 nan 0.1000 0.0767
## 3 1.5032 nan 0.1000 0.0627
## 4 1.4622 nan 0.1000 0.0635
## 5 1.4216 nan 0.1000 0.0573
## 6 1.3845 nan 0.1000 0.0501
## 7 1.3525 nan 0.1000 0.0504
## 8 1.3197 nan 0.1000 0.0384
## 9 1.2946 nan 0.1000 0.0387
## 10 1.2695 nan 0.1000 0.0365
## 20 1.1008 nan 0.1000 0.0213
## 40 0.9107 nan 0.1000 0.0096
## 60 0.7936 nan 0.1000 0.0077
## 80 0.7058 nan 0.1000 0.0050
## 100 0.6376 nan 0.1000 0.0043
## 120 0.5798 nan 0.1000 0.0020
## 140 0.5343 nan 0.1000 0.0020
## 150 0.5127 nan 0.1000 0.0025
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0553
## 2 1.5753 nan 0.1000 0.0456
## 3 1.5474 nan 0.1000 0.0371
## 4 1.5250 nan 0.1000 0.0315
## 5 1.5051 nan 0.1000 0.0300
## 6 1.4872 nan 0.1000 0.0274
## 7 1.4700 nan 0.1000 0.0214
## 8 1.4561 nan 0.1000 0.0211
## 9 1.4421 nan 0.1000 0.0207
## 10 1.4284 nan 0.1000 0.0168
## 20 1.3346 nan 0.1000 0.0106
## 40 1.2115 nan 0.1000 0.0060
## 60 1.1296 nan 0.1000 0.0043
## 80 1.0695 nan 0.1000 0.0027
## 100 1.0229 nan 0.1000 0.0019
## 120 0.9843 nan 0.1000 0.0023
## 140 0.9518 nan 0.1000 0.0013
## 150 0.9373 nan 0.1000 0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1045
## 2 1.5455 nan 0.1000 0.0648
## 3 1.5050 nan 0.1000 0.0622
## 4 1.4678 nan 0.1000 0.0503
## 5 1.4365 nan 0.1000 0.0437
## 6 1.4089 nan 0.1000 0.0374
## 7 1.3849 nan 0.1000 0.0333
## 8 1.3642 nan 0.1000 0.0285
## 9 1.3460 nan 0.1000 0.0272
## 10 1.3282 nan 0.1000 0.0250
## 20 1.1874 nan 0.1000 0.0161
## 40 1.0261 nan 0.1000 0.0075
## 60 0.9267 nan 0.1000 0.0044
## 80 0.8507 nan 0.1000 0.0036
## 100 0.7909 nan 0.1000 0.0029
## 120 0.7389 nan 0.1000 0.0029
## 140 0.6925 nan 0.1000 0.0024
## 150 0.6726 nan 0.1000 0.0020
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1219
## 2 1.5363 nan 0.1000 0.0969
## 3 1.4788 nan 0.1000 0.0753
## 4 1.4323 nan 0.1000 0.0627
## 5 1.3943 nan 0.1000 0.0502
## 6 1.3617 nan 0.1000 0.0469
## 7 1.3321 nan 0.1000 0.0435
## 8 1.3044 nan 0.1000 0.0400
## 9 1.2793 nan 0.1000 0.0357
## 10 1.2563 nan 0.1000 0.0335
## 20 1.0903 nan 0.1000 0.0189
## 40 0.9071 nan 0.1000 0.0085
## 60 0.7930 nan 0.1000 0.0050
## 80 0.7093 nan 0.1000 0.0050
## 100 0.6422 nan 0.1000 0.0044
## 120 0.5840 nan 0.1000 0.0021
## 140 0.5354 nan 0.1000 0.0024
## 150 0.5124 nan 0.1000 0.0023
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0499
## 2 1.5795 nan 0.1000 0.0377
## 3 1.5563 nan 0.1000 0.0323
## 4 1.5359 nan 0.1000 0.0281
## 5 1.5182 nan 0.1000 0.0260
## 6 1.5014 nan 0.1000 0.0249
## 7 1.4855 nan 0.1000 0.0179
## 8 1.4730 nan 0.1000 0.0198
## 9 1.4600 nan 0.1000 0.0186
## 10 1.4475 nan 0.1000 0.0160
## 20 1.3539 nan 0.1000 0.0110
## 40 1.2309 nan 0.1000 0.0073
## 60 1.1507 nan 0.1000 0.0049
## 80 1.0876 nan 0.1000 0.0029
## 100 1.0389 nan 0.1000 0.0023
## 120 0.9972 nan 0.1000 0.0015
## 140 0.9650 nan 0.1000 0.0009
## 150 0.9498 nan 0.1000 0.0008
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0778
## 2 1.5618 nan 0.1000 0.0593
## 3 1.5257 nan 0.1000 0.0513
## 4 1.4938 nan 0.1000 0.0551
## 5 1.4596 nan 0.1000 0.0438
## 6 1.4320 nan 0.1000 0.0392
## 7 1.4068 nan 0.1000 0.0327
## 8 1.3861 nan 0.1000 0.0300
## 9 1.3674 nan 0.1000 0.0289
## 10 1.3490 nan 0.1000 0.0283
## 20 1.2110 nan 0.1000 0.0177
## 40 1.0448 nan 0.1000 0.0091
## 60 0.9381 nan 0.1000 0.0058
## 80 0.8563 nan 0.1000 0.0050
## 100 0.7934 nan 0.1000 0.0029
## 120 0.7426 nan 0.1000 0.0025
## 140 0.6977 nan 0.1000 0.0023
## 150 0.6786 nan 0.1000 0.0012
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1004
## 2 1.5477 nan 0.1000 0.0743
## 3 1.5009 nan 0.1000 0.0686
## 4 1.4574 nan 0.1000 0.0578
## 5 1.4210 nan 0.1000 0.0436
## 6 1.3920 nan 0.1000 0.0459
## 7 1.3631 nan 0.1000 0.0503
## 8 1.3320 nan 0.1000 0.0467
## 9 1.3032 nan 0.1000 0.0354
## 10 1.2811 nan 0.1000 0.0321
## 20 1.1104 nan 0.1000 0.0181
## 40 0.9178 nan 0.1000 0.0083
## 60 0.7993 nan 0.1000 0.0066
## 80 0.7132 nan 0.1000 0.0060
## 100 0.6446 nan 0.1000 0.0033
## 120 0.5863 nan 0.1000 0.0025
## 140 0.5382 nan 0.1000 0.0011
## 150 0.5189 nan 0.1000 0.0023
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0592
## 2 1.5731 nan 0.1000 0.0428
## 3 1.5474 nan 0.1000 0.0391
## 4 1.5234 nan 0.1000 0.0347
## 5 1.5012 nan 0.1000 0.0266
## 6 1.4842 nan 0.1000 0.0268
## 7 1.4676 nan 0.1000 0.0233
## 8 1.4526 nan 0.1000 0.0200
## 9 1.4394 nan 0.1000 0.0203
## 10 1.4265 nan 0.1000 0.0190
## 20 1.3294 nan 0.1000 0.0113
## 40 1.2070 nan 0.1000 0.0060
## 60 1.1272 nan 0.1000 0.0042
## 80 1.0674 nan 0.1000 0.0033
## 100 1.0194 nan 0.1000 0.0023
## 120 0.9803 nan 0.1000 0.0020
## 140 0.9463 nan 0.1000 0.0013
## 150 0.9321 nan 0.1000 0.0009
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0867
## 2 1.5550 nan 0.1000 0.0815
## 3 1.5048 nan 0.1000 0.0535
## 4 1.4713 nan 0.1000 0.0523
## 5 1.4391 nan 0.1000 0.0483
## 6 1.4084 nan 0.1000 0.0359
## 7 1.3854 nan 0.1000 0.0361
## 8 1.3623 nan 0.1000 0.0327
## 9 1.3424 nan 0.1000 0.0255
## 10 1.3256 nan 0.1000 0.0251
## 20 1.1855 nan 0.1000 0.0139
## 40 1.0244 nan 0.1000 0.0091
## 60 0.9239 nan 0.1000 0.0057
## 80 0.8458 nan 0.1000 0.0039
## 100 0.7810 nan 0.1000 0.0031
## 120 0.7295 nan 0.1000 0.0026
## 140 0.6854 nan 0.1000 0.0039
## 150 0.6640 nan 0.1000 0.0018
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1115
## 2 1.5387 nan 0.1000 0.0832
## 3 1.4856 nan 0.1000 0.0765
## 4 1.4387 nan 0.1000 0.0682
## 5 1.3963 nan 0.1000 0.0556
## 6 1.3610 nan 0.1000 0.0479
## 7 1.3310 nan 0.1000 0.0457
## 8 1.3022 nan 0.1000 0.0402
## 9 1.2773 nan 0.1000 0.0379
## 10 1.2532 nan 0.1000 0.0355
## 20 1.0838 nan 0.1000 0.0195
## 40 0.8957 nan 0.1000 0.0101
## 60 0.7790 nan 0.1000 0.0047
## 80 0.6989 nan 0.1000 0.0047
## 100 0.6293 nan 0.1000 0.0040
## 120 0.5722 nan 0.1000 0.0039
## 140 0.5231 nan 0.1000 0.0022
## 150 0.5003 nan 0.1000 0.0028
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0499
## 2 1.5778 nan 0.1000 0.0392
## 3 1.5535 nan 0.1000 0.0365
## 4 1.5317 nan 0.1000 0.0304
## 5 1.5119 nan 0.1000 0.0279
## 6 1.4946 nan 0.1000 0.0227
## 7 1.4803 nan 0.1000 0.0220
## 8 1.4661 nan 0.1000 0.0190
## 9 1.4531 nan 0.1000 0.0184
## 10 1.4410 nan 0.1000 0.0189
## 20 1.3480 nan 0.1000 0.0109
## 40 1.2297 nan 0.1000 0.0071
## 60 1.1463 nan 0.1000 0.0041
## 80 1.0853 nan 0.1000 0.0039
## 100 1.0373 nan 0.1000 0.0021
## 120 0.9975 nan 0.1000 0.0021
## 140 0.9647 nan 0.1000 0.0009
## 150 0.9503 nan 0.1000 0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0808
## 2 1.5601 nan 0.1000 0.0587
## 3 1.5230 nan 0.1000 0.0594
## 4 1.4860 nan 0.1000 0.0443
## 5 1.4571 nan 0.1000 0.0441
## 6 1.4292 nan 0.1000 0.0399
## 7 1.4051 nan 0.1000 0.0355
## 8 1.3829 nan 0.1000 0.0304
## 9 1.3638 nan 0.1000 0.0257
## 10 1.3458 nan 0.1000 0.0289
## 20 1.2058 nan 0.1000 0.0140
## 40 1.0461 nan 0.1000 0.0068
## 60 0.9376 nan 0.1000 0.0052
## 80 0.8562 nan 0.1000 0.0052
## 100 0.7923 nan 0.1000 0.0036
## 120 0.7370 nan 0.1000 0.0014
## 140 0.6927 nan 0.1000 0.0009
## 150 0.6732 nan 0.1000 0.0032
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1037
## 2 1.5444 nan 0.1000 0.0752
## 3 1.4985 nan 0.1000 0.0660
## 4 1.4568 nan 0.1000 0.0619
## 5 1.4168 nan 0.1000 0.0562
## 6 1.3824 nan 0.1000 0.0490
## 7 1.3500 nan 0.1000 0.0456
## 8 1.3218 nan 0.1000 0.0373
## 9 1.2971 nan 0.1000 0.0384
## 10 1.2729 nan 0.1000 0.0373
## 20 1.1052 nan 0.1000 0.0176
## 40 0.9175 nan 0.1000 0.0087
## 60 0.8023 nan 0.1000 0.0057
## 80 0.7159 nan 0.1000 0.0046
## 100 0.6470 nan 0.1000 0.0033
## 120 0.5910 nan 0.1000 0.0022
## 140 0.5446 nan 0.1000 0.0038
## 150 0.5230 nan 0.1000 0.0027
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0549
## 2 1.5748 nan 0.1000 0.0430
## 3 1.5480 nan 0.1000 0.0366
## 4 1.5254 nan 0.1000 0.0346
## 5 1.5046 nan 0.1000 0.0270
## 6 1.4871 nan 0.1000 0.0236
## 7 1.4713 nan 0.1000 0.0227
## 8 1.4564 nan 0.1000 0.0192
## 9 1.4433 nan 0.1000 0.0211
## 10 1.4297 nan 0.1000 0.0189
## 20 1.3325 nan 0.1000 0.0113
## 40 1.2088 nan 0.1000 0.0070
## 60 1.1260 nan 0.1000 0.0040
## 80 1.0664 nan 0.1000 0.0033
## 100 1.0167 nan 0.1000 0.0021
## 120 0.9774 nan 0.1000 0.0018
## 140 0.9449 nan 0.1000 0.0014
## 150 0.9304 nan 0.1000 0.0020
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0858
## 2 1.5551 nan 0.1000 0.0830
## 3 1.5059 nan 0.1000 0.0657
## 4 1.4655 nan 0.1000 0.0451
## 5 1.4366 nan 0.1000 0.0447
## 6 1.4089 nan 0.1000 0.0418
## 7 1.3829 nan 0.1000 0.0333
## 8 1.3613 nan 0.1000 0.0307
## 9 1.3416 nan 0.1000 0.0254
## 10 1.3245 nan 0.1000 0.0287
## 20 1.1795 nan 0.1000 0.0149
## 40 1.0207 nan 0.1000 0.0085
## 60 0.9161 nan 0.1000 0.0056
## 80 0.8387 nan 0.1000 0.0039
## 100 0.7772 nan 0.1000 0.0032
## 120 0.7286 nan 0.1000 0.0021
## 140 0.6846 nan 0.1000 0.0017
## 150 0.6632 nan 0.1000 0.0024
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1218
## 2 1.5353 nan 0.1000 0.0878
## 3 1.4802 nan 0.1000 0.0800
## 4 1.4302 nan 0.1000 0.0556
## 5 1.3947 nan 0.1000 0.0559
## 6 1.3612 nan 0.1000 0.0514
## 7 1.3301 nan 0.1000 0.0486
## 8 1.3001 nan 0.1000 0.0418
## 9 1.2730 nan 0.1000 0.0349
## 10 1.2499 nan 0.1000 0.0350
## 20 1.0807 nan 0.1000 0.0197
## 40 0.8972 nan 0.1000 0.0111
## 60 0.7789 nan 0.1000 0.0062
## 80 0.6991 nan 0.1000 0.0043
## 100 0.6323 nan 0.1000 0.0036
## 120 0.5777 nan 0.1000 0.0028
## 140 0.5282 nan 0.1000 0.0024
## 150 0.5072 nan 0.1000 0.0026
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0519
## 2 1.5793 nan 0.1000 0.0373
## 3 1.5558 nan 0.1000 0.0314
## 4 1.5353 nan 0.1000 0.0285
## 5 1.5173 nan 0.1000 0.0236
## 6 1.5018 nan 0.1000 0.0210
## 7 1.4874 nan 0.1000 0.0227
## 8 1.4733 nan 0.1000 0.0193
## 9 1.4606 nan 0.1000 0.0184
## 10 1.4486 nan 0.1000 0.0178
## 20 1.3565 nan 0.1000 0.0110
## 40 1.2361 nan 0.1000 0.0073
## 60 1.1562 nan 0.1000 0.0047
## 80 1.0962 nan 0.1000 0.0022
## 100 1.0467 nan 0.1000 0.0029
## 120 1.0064 nan 0.1000 0.0016
## 140 0.9719 nan 0.1000 0.0013
## 150 0.9568 nan 0.1000 0.0018
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0763
## 2 1.5629 nan 0.1000 0.0611
## 3 1.5240 nan 0.1000 0.0592
## 4 1.4879 nan 0.1000 0.0542
## 5 1.4536 nan 0.1000 0.0444
## 6 1.4263 nan 0.1000 0.0405
## 7 1.4014 nan 0.1000 0.0317
## 8 1.3808 nan 0.1000 0.0338
## 9 1.3592 nan 0.1000 0.0283
## 10 1.3409 nan 0.1000 0.0260
## 20 1.2057 nan 0.1000 0.0156
## 40 1.0423 nan 0.1000 0.0081
## 60 0.9368 nan 0.1000 0.0066
## 80 0.8554 nan 0.1000 0.0038
## 100 0.7919 nan 0.1000 0.0028
## 120 0.7383 nan 0.1000 0.0021
## 140 0.6908 nan 0.1000 0.0024
## 150 0.6676 nan 0.1000 0.0019
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0987
## 2 1.5485 nan 0.1000 0.0812
## 3 1.4990 nan 0.1000 0.0760
## 4 1.4532 nan 0.1000 0.0604
## 5 1.4148 nan 0.1000 0.0586
## 6 1.3783 nan 0.1000 0.0465
## 7 1.3479 nan 0.1000 0.0455
## 8 1.3192 nan 0.1000 0.0413
## 9 1.2927 nan 0.1000 0.0364
## 10 1.2679 nan 0.1000 0.0307
## 20 1.1049 nan 0.1000 0.0186
## 40 0.9176 nan 0.1000 0.0096
## 60 0.7974 nan 0.1000 0.0064
## 80 0.7119 nan 0.1000 0.0048
## 100 0.6406 nan 0.1000 0.0040
## 120 0.5840 nan 0.1000 0.0032
## 140 0.5361 nan 0.1000 0.0015
## 150 0.5144 nan 0.1000 0.0022
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0529
## 2 1.5782 nan 0.1000 0.0384
## 3 1.5545 nan 0.1000 0.0344
## 4 1.5335 nan 0.1000 0.0312
## 5 1.5132 nan 0.1000 0.0261
## 6 1.4962 nan 0.1000 0.0220
## 7 1.4816 nan 0.1000 0.0248
## 8 1.4660 nan 0.1000 0.0195
## 9 1.4524 nan 0.1000 0.0191
## 10 1.4398 nan 0.1000 0.0172
## 20 1.3469 nan 0.1000 0.0117
## 40 1.2281 nan 0.1000 0.0055
## 60 1.1472 nan 0.1000 0.0051
## 80 1.0874 nan 0.1000 0.0034
## 100 1.0393 nan 0.1000 0.0030
## 120 0.9997 nan 0.1000 0.0021
## 140 0.9646 nan 0.1000 0.0017
## 150 0.9493 nan 0.1000 0.0012
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0786
## 2 1.5589 nan 0.1000 0.0620
## 3 1.5204 nan 0.1000 0.0511
## 4 1.4882 nan 0.1000 0.0514
## 5 1.4555 nan 0.1000 0.0469
## 6 1.4264 nan 0.1000 0.0427
## 7 1.3989 nan 0.1000 0.0321
## 8 1.3786 nan 0.1000 0.0295
## 9 1.3587 nan 0.1000 0.0294
## 10 1.3389 nan 0.1000 0.0254
## 20 1.2032 nan 0.1000 0.0161
## 40 1.0382 nan 0.1000 0.0103
## 60 0.9337 nan 0.1000 0.0049
## 80 0.8611 nan 0.1000 0.0038
## 100 0.7961 nan 0.1000 0.0025
## 120 0.7438 nan 0.1000 0.0024
## 140 0.6976 nan 0.1000 0.0018
## 150 0.6779 nan 0.1000 0.0020
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1079
## 2 1.5436 nan 0.1000 0.0779
## 3 1.4941 nan 0.1000 0.0591
## 4 1.4565 nan 0.1000 0.0705
## 5 1.4116 nan 0.1000 0.0524
## 6 1.3774 nan 0.1000 0.0530
## 7 1.3437 nan 0.1000 0.0441
## 8 1.3154 nan 0.1000 0.0373
## 9 1.2912 nan 0.1000 0.0342
## 10 1.2679 nan 0.1000 0.0362
## 20 1.0965 nan 0.1000 0.0193
## 40 0.9106 nan 0.1000 0.0079
## 60 0.7974 nan 0.1000 0.0046
## 80 0.7131 nan 0.1000 0.0045
## 100 0.6501 nan 0.1000 0.0057
## 120 0.5919 nan 0.1000 0.0025
## 140 0.5454 nan 0.1000 0.0022
## 150 0.5259 nan 0.1000 0.0025
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0563
## 2 1.5755 nan 0.1000 0.0455
## 3 1.5470 nan 0.1000 0.0389
## 4 1.5232 nan 0.1000 0.0324
## 5 1.5033 nan 0.1000 0.0267
## 6 1.4863 nan 0.1000 0.0250
## 7 1.4708 nan 0.1000 0.0223
## 8 1.4559 nan 0.1000 0.0207
## 9 1.4422 nan 0.1000 0.0179
## 10 1.4305 nan 0.1000 0.0163
## 20 1.3334 nan 0.1000 0.0103
## 40 1.2154 nan 0.1000 0.0063
## 60 1.1375 nan 0.1000 0.0032
## 80 1.0777 nan 0.1000 0.0031
## 100 1.0315 nan 0.1000 0.0021
## 120 0.9941 nan 0.1000 0.0016
## 140 0.9625 nan 0.1000 0.0015
## 150 0.9483 nan 0.1000 0.0011
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0919
## 2 1.5536 nan 0.1000 0.0791
## 3 1.5059 nan 0.1000 0.0627
## 4 1.4677 nan 0.1000 0.0471
## 5 1.4379 nan 0.1000 0.0431
## 6 1.4102 nan 0.1000 0.0351
## 7 1.3887 nan 0.1000 0.0343
## 8 1.3669 nan 0.1000 0.0295
## 9 1.3473 nan 0.1000 0.0270
## 10 1.3296 nan 0.1000 0.0248
## 20 1.1958 nan 0.1000 0.0173
## 40 1.0384 nan 0.1000 0.0074
## 60 0.9349 nan 0.1000 0.0049
## 80 0.8569 nan 0.1000 0.0036
## 100 0.7963 nan 0.1000 0.0049
## 120 0.7435 nan 0.1000 0.0026
## 140 0.6979 nan 0.1000 0.0028
## 150 0.6782 nan 0.1000 0.0027
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1199
## 2 1.5349 nan 0.1000 0.0960
## 3 1.4773 nan 0.1000 0.0711
## 4 1.4337 nan 0.1000 0.0572
## 5 1.3980 nan 0.1000 0.0557
## 6 1.3642 nan 0.1000 0.0461
## 7 1.3345 nan 0.1000 0.0399
## 8 1.3083 nan 0.1000 0.0354
## 9 1.2853 nan 0.1000 0.0341
## 10 1.2636 nan 0.1000 0.0291
## 20 1.0996 nan 0.1000 0.0172
## 40 0.9194 nan 0.1000 0.0068
## 60 0.8036 nan 0.1000 0.0072
## 80 0.7148 nan 0.1000 0.0050
## 100 0.6439 nan 0.1000 0.0041
## 120 0.5873 nan 0.1000 0.0029
## 140 0.5394 nan 0.1000 0.0030
## 150 0.5173 nan 0.1000 0.0012
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0484
## 2 1.5791 nan 0.1000 0.0407
## 3 1.5543 nan 0.1000 0.0314
## 4 1.5350 nan 0.1000 0.0305
## 5 1.5160 nan 0.1000 0.0242
## 6 1.5000 nan 0.1000 0.0213
## 7 1.4858 nan 0.1000 0.0217
## 8 1.4725 nan 0.1000 0.0189
## 9 1.4600 nan 0.1000 0.0197
## 10 1.4474 nan 0.1000 0.0153
## 20 1.3563 nan 0.1000 0.0120
## 40 1.2359 nan 0.1000 0.0063
## 60 1.1547 nan 0.1000 0.0031
## 80 1.0911 nan 0.1000 0.0037
## 100 1.0432 nan 0.1000 0.0038
## 120 1.0011 nan 0.1000 0.0023
## 140 0.9645 nan 0.1000 0.0017
## 150 0.9482 nan 0.1000 0.0010
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0764
## 2 1.5622 nan 0.1000 0.0578
## 3 1.5254 nan 0.1000 0.0521
## 4 1.4936 nan 0.1000 0.0497
## 5 1.4632 nan 0.1000 0.0373
## 6 1.4390 nan 0.1000 0.0415
## 7 1.4130 nan 0.1000 0.0278
## 8 1.3940 nan 0.1000 0.0307
## 9 1.3737 nan 0.1000 0.0292
## 10 1.3533 nan 0.1000 0.0256
## 20 1.2096 nan 0.1000 0.0145
## 40 1.0463 nan 0.1000 0.0103
## 60 0.9376 nan 0.1000 0.0084
## 80 0.8547 nan 0.1000 0.0037
## 100 0.7922 nan 0.1000 0.0033
## 120 0.7391 nan 0.1000 0.0031
## 140 0.6928 nan 0.1000 0.0026
## 150 0.6711 nan 0.1000 0.0019
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0978
## 2 1.5473 nan 0.1000 0.0766
## 3 1.4986 nan 0.1000 0.0627
## 4 1.4584 nan 0.1000 0.0578
## 5 1.4215 nan 0.1000 0.0593
## 6 1.3836 nan 0.1000 0.0462
## 7 1.3541 nan 0.1000 0.0439
## 8 1.3249 nan 0.1000 0.0411
## 9 1.2981 nan 0.1000 0.0344
## 10 1.2768 nan 0.1000 0.0311
## 20 1.1059 nan 0.1000 0.0187
## 40 0.9170 nan 0.1000 0.0110
## 60 0.7952 nan 0.1000 0.0057
## 80 0.7123 nan 0.1000 0.0042
## 100 0.6415 nan 0.1000 0.0038
## 120 0.5852 nan 0.1000 0.0025
## 140 0.5376 nan 0.1000 0.0014
## 150 0.5168 nan 0.1000 0.0018
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0518
## 2 1.5765 nan 0.1000 0.0400
## 3 1.5505 nan 0.1000 0.0374
## 4 1.5278 nan 0.1000 0.0307
## 5 1.5086 nan 0.1000 0.0280
## 6 1.4910 nan 0.1000 0.0253
## 7 1.4747 nan 0.1000 0.0236
## 8 1.4595 nan 0.1000 0.0217
## 9 1.4453 nan 0.1000 0.0197
## 10 1.4332 nan 0.1000 0.0191
## 20 1.3367 nan 0.1000 0.0132
## 40 1.2172 nan 0.1000 0.0065
## 60 1.1362 nan 0.1000 0.0051
## 80 1.0742 nan 0.1000 0.0036
## 100 1.0267 nan 0.1000 0.0026
## 120 0.9867 nan 0.1000 0.0014
## 140 0.9535 nan 0.1000 0.0011
## 150 0.9381 nan 0.1000 0.0016
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0762
## 2 1.5617 nan 0.1000 0.0726
## 3 1.5165 nan 0.1000 0.0561
## 4 1.4808 nan 0.1000 0.0512
## 5 1.4497 nan 0.1000 0.0409
## 6 1.4232 nan 0.1000 0.0402
## 7 1.3982 nan 0.1000 0.0339
## 8 1.3758 nan 0.1000 0.0366
## 9 1.3525 nan 0.1000 0.0270
## 10 1.3347 nan 0.1000 0.0256
## 20 1.1964 nan 0.1000 0.0144
## 40 1.0320 nan 0.1000 0.0088
## 60 0.9230 nan 0.1000 0.0071
## 80 0.8472 nan 0.1000 0.0077
## 100 0.7852 nan 0.1000 0.0021
## 120 0.7330 nan 0.1000 0.0032
## 140 0.6905 nan 0.1000 0.0021
## 150 0.6704 nan 0.1000 0.0022
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1026
## 2 1.5459 nan 0.1000 0.0791
## 3 1.4953 nan 0.1000 0.0689
## 4 1.4527 nan 0.1000 0.0667
## 5 1.4109 nan 0.1000 0.0599
## 6 1.3734 nan 0.1000 0.0511
## 7 1.3426 nan 0.1000 0.0441
## 8 1.3141 nan 0.1000 0.0395
## 9 1.2881 nan 0.1000 0.0384
## 10 1.2640 nan 0.1000 0.0362
## 20 1.1001 nan 0.1000 0.0184
## 40 0.9103 nan 0.1000 0.0089
## 60 0.7916 nan 0.1000 0.0058
## 80 0.7092 nan 0.1000 0.0051
## 100 0.6415 nan 0.1000 0.0039
## 120 0.5846 nan 0.1000 0.0021
## 140 0.5369 nan 0.1000 0.0017
## 150 0.5171 nan 0.1000 0.0022
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0602
## 2 1.5731 nan 0.1000 0.0453
## 3 1.5457 nan 0.1000 0.0374
## 4 1.5223 nan 0.1000 0.0372
## 5 1.5003 nan 0.1000 0.0302
## 6 1.4818 nan 0.1000 0.0255
## 7 1.4659 nan 0.1000 0.0237
## 8 1.4505 nan 0.1000 0.0230
## 9 1.4365 nan 0.1000 0.0204
## 10 1.4236 nan 0.1000 0.0164
## 20 1.3309 nan 0.1000 0.0113
## 40 1.2129 nan 0.1000 0.0060
## 60 1.1353 nan 0.1000 0.0051
## 80 1.0757 nan 0.1000 0.0025
## 100 1.0295 nan 0.1000 0.0024
## 120 0.9906 nan 0.1000 0.0017
## 140 0.9577 nan 0.1000 0.0017
## 150 0.9437 nan 0.1000 0.0007
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1051
## 2 1.5463 nan 0.1000 0.0690
## 3 1.5035 nan 0.1000 0.0565
## 4 1.4688 nan 0.1000 0.0520
## 5 1.4367 nan 0.1000 0.0421
## 6 1.4096 nan 0.1000 0.0398
## 7 1.3844 nan 0.1000 0.0358
## 8 1.3627 nan 0.1000 0.0293
## 9 1.3436 nan 0.1000 0.0281
## 10 1.3251 nan 0.1000 0.0261
## 20 1.1878 nan 0.1000 0.0163
## 40 1.0276 nan 0.1000 0.0072
## 60 0.9248 nan 0.1000 0.0056
## 80 0.8496 nan 0.1000 0.0030
## 100 0.7883 nan 0.1000 0.0032
## 120 0.7380 nan 0.1000 0.0027
## 140 0.6945 nan 0.1000 0.0020
## 150 0.6758 nan 0.1000 0.0015
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1218
## 2 1.5357 nan 0.1000 0.0886
## 3 1.4816 nan 0.1000 0.0695
## 4 1.4380 nan 0.1000 0.0673
## 5 1.3966 nan 0.1000 0.0543
## 6 1.3622 nan 0.1000 0.0470
## 7 1.3319 nan 0.1000 0.0433
## 8 1.3040 nan 0.1000 0.0389
## 9 1.2790 nan 0.1000 0.0314
## 10 1.2581 nan 0.1000 0.0334
## 20 1.0922 nan 0.1000 0.0179
## 40 0.9125 nan 0.1000 0.0102
## 60 0.7969 nan 0.1000 0.0054
## 80 0.7119 nan 0.1000 0.0060
## 100 0.6445 nan 0.1000 0.0030
## 120 0.5889 nan 0.1000 0.0041
## 140 0.5384 nan 0.1000 0.0021
## 150 0.5174 nan 0.1000 0.0015
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0574
## 2 1.5743 nan 0.1000 0.0413
## 3 1.5496 nan 0.1000 0.0377
## 4 1.5257 nan 0.1000 0.0327
## 5 1.5056 nan 0.1000 0.0243
## 6 1.4895 nan 0.1000 0.0264
## 7 1.4723 nan 0.1000 0.0233
## 8 1.4580 nan 0.1000 0.0201
## 9 1.4448 nan 0.1000 0.0206
## 10 1.4316 nan 0.1000 0.0168
## 20 1.3347 nan 0.1000 0.0104
## 40 1.2121 nan 0.1000 0.0054
## 60 1.1298 nan 0.1000 0.0036
## 80 1.0687 nan 0.1000 0.0028
## 100 1.0216 nan 0.1000 0.0029
## 120 0.9814 nan 0.1000 0.0022
## 140 0.9480 nan 0.1000 0.0011
## 150 0.9329 nan 0.1000 0.0013
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0899
## 2 1.5553 nan 0.1000 0.0659
## 3 1.5147 nan 0.1000 0.0665
## 4 1.4751 nan 0.1000 0.0531
## 5 1.4435 nan 0.1000 0.0464
## 6 1.4155 nan 0.1000 0.0376
## 7 1.3916 nan 0.1000 0.0328
## 8 1.3700 nan 0.1000 0.0326
## 9 1.3488 nan 0.1000 0.0242
## 10 1.3329 nan 0.1000 0.0308
## 20 1.1901 nan 0.1000 0.0146
## 40 1.0211 nan 0.1000 0.0090
## 60 0.9140 nan 0.1000 0.0056
## 80 0.8405 nan 0.1000 0.0037
## 100 0.7792 nan 0.1000 0.0028
## 120 0.7267 nan 0.1000 0.0037
## 140 0.6803 nan 0.1000 0.0016
## 150 0.6607 nan 0.1000 0.0027
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1162
## 2 1.5377 nan 0.1000 0.0791
## 3 1.4888 nan 0.1000 0.0702
## 4 1.4443 nan 0.1000 0.0696
## 5 1.4007 nan 0.1000 0.0560
## 6 1.3661 nan 0.1000 0.0550
## 7 1.3323 nan 0.1000 0.0380
## 8 1.3074 nan 0.1000 0.0415
## 9 1.2811 nan 0.1000 0.0361
## 10 1.2582 nan 0.1000 0.0366
## 20 1.0858 nan 0.1000 0.0181
## 40 0.9000 nan 0.1000 0.0097
## 60 0.7864 nan 0.1000 0.0055
## 80 0.7048 nan 0.1000 0.0032
## 100 0.6350 nan 0.1000 0.0044
## 120 0.5809 nan 0.1000 0.0026
## 140 0.5315 nan 0.1000 0.0020
## 150 0.5106 nan 0.1000 0.0022
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0532
## 2 1.5774 nan 0.1000 0.0390
## 3 1.5538 nan 0.1000 0.0312
## 4 1.5340 nan 0.1000 0.0285
## 5 1.5162 nan 0.1000 0.0250
## 6 1.4991 nan 0.1000 0.0249
## 7 1.4836 nan 0.1000 0.0216
## 8 1.4703 nan 0.1000 0.0191
## 9 1.4575 nan 0.1000 0.0166
## 10 1.4460 nan 0.1000 0.0173
## 20 1.3561 nan 0.1000 0.0112
## 40 1.2325 nan 0.1000 0.0060
## 60 1.1516 nan 0.1000 0.0042
## 80 1.0914 nan 0.1000 0.0046
## 100 1.0435 nan 0.1000 0.0031
## 120 1.0025 nan 0.1000 0.0019
## 140 0.9686 nan 0.1000 0.0019
## 150 0.9539 nan 0.1000 0.0011
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0801
## 2 1.5600 nan 0.1000 0.0600
## 3 1.5227 nan 0.1000 0.0496
## 4 1.4909 nan 0.1000 0.0451
## 5 1.4632 nan 0.1000 0.0431
## 6 1.4351 nan 0.1000 0.0379
## 7 1.4112 nan 0.1000 0.0367
## 8 1.3885 nan 0.1000 0.0334
## 9 1.3672 nan 0.1000 0.0277
## 10 1.3500 nan 0.1000 0.0280
## 20 1.2075 nan 0.1000 0.0161
## 40 1.0449 nan 0.1000 0.0087
## 60 0.9417 nan 0.1000 0.0052
## 80 0.8639 nan 0.1000 0.0043
## 100 0.8018 nan 0.1000 0.0043
## 120 0.7484 nan 0.1000 0.0029
## 140 0.6996 nan 0.1000 0.0018
## 150 0.6802 nan 0.1000 0.0027
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0994
## 2 1.5476 nan 0.1000 0.0802
## 3 1.4974 nan 0.1000 0.0671
## 4 1.4538 nan 0.1000 0.0547
## 5 1.4190 nan 0.1000 0.0568
## 6 1.3840 nan 0.1000 0.0525
## 7 1.3515 nan 0.1000 0.0437
## 8 1.3234 nan 0.1000 0.0379
## 9 1.2989 nan 0.1000 0.0346
## 10 1.2760 nan 0.1000 0.0358
## 20 1.1050 nan 0.1000 0.0191
## 40 0.9197 nan 0.1000 0.0080
## 60 0.7996 nan 0.1000 0.0078
## 80 0.7135 nan 0.1000 0.0031
## 100 0.6454 nan 0.1000 0.0033
## 120 0.5927 nan 0.1000 0.0026
## 140 0.5452 nan 0.1000 0.0031
## 150 0.5237 nan 0.1000 0.0018
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0563
## 2 1.5761 nan 0.1000 0.0429
## 3 1.5490 nan 0.1000 0.0346
## 4 1.5273 nan 0.1000 0.0333
## 5 1.5061 nan 0.1000 0.0264
## 6 1.4898 nan 0.1000 0.0248
## 7 1.4737 nan 0.1000 0.0244
## 8 1.4582 nan 0.1000 0.0203
## 9 1.4449 nan 0.1000 0.0193
## 10 1.4323 nan 0.1000 0.0180
## 20 1.3392 nan 0.1000 0.0101
## 40 1.2187 nan 0.1000 0.0076
## 60 1.1361 nan 0.1000 0.0058
## 80 1.0752 nan 0.1000 0.0041
## 100 1.0271 nan 0.1000 0.0015
## 120 0.9894 nan 0.1000 0.0019
## 140 0.9573 nan 0.1000 0.0014
## 150 0.9422 nan 0.1000 0.0014
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.0860
## 2 1.5558 nan 0.1000 0.0653
## 3 1.5141 nan 0.1000 0.0647
## 4 1.4737 nan 0.1000 0.0440
## 5 1.4462 nan 0.1000 0.0448
## 6 1.4194 nan 0.1000 0.0369
## 7 1.3948 nan 0.1000 0.0343
## 8 1.3723 nan 0.1000 0.0311
## 9 1.3523 nan 0.1000 0.0276
## 10 1.3347 nan 0.1000 0.0277
## 20 1.1936 nan 0.1000 0.0172
## 40 1.0260 nan 0.1000 0.0092
## 60 0.9244 nan 0.1000 0.0041
## 80 0.8456 nan 0.1000 0.0042
## 100 0.7828 nan 0.1000 0.0032
## 120 0.7302 nan 0.1000 0.0025
## 140 0.6857 nan 0.1000 0.0019
## 150 0.6663 nan 0.1000 0.0021
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1138
## 2 1.5392 nan 0.1000 0.0814
## 3 1.4868 nan 0.1000 0.0724
## 4 1.4433 nan 0.1000 0.0696
## 5 1.3997 nan 0.1000 0.0578
## 6 1.3637 nan 0.1000 0.0513
## 7 1.3320 nan 0.1000 0.0449
## 8 1.3047 nan 0.1000 0.0445
## 9 1.2763 nan 0.1000 0.0392
## 10 1.2516 nan 0.1000 0.0345
## 20 1.0863 nan 0.1000 0.0186
## 40 0.8956 nan 0.1000 0.0101
## 60 0.7816 nan 0.1000 0.0051
## 80 0.6996 nan 0.1000 0.0054
## 100 0.6353 nan 0.1000 0.0031
## 120 0.5813 nan 0.1000 0.0022
## 140 0.5327 nan 0.1000 0.0010
## 150 0.5122 nan 0.1000 0.0014
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.6094 nan 0.1000 0.1164
## 2 1.5381 nan 0.1000 0.0836
## 3 1.4869 nan 0.1000 0.0641
## 4 1.4455 nan 0.1000 0.0637
## 5 1.4055 nan 0.1000 0.0538
## 6 1.3731 nan 0.1000 0.0458
## 7 1.3436 nan 0.1000 0.0416
## 8 1.3166 nan 0.1000 0.0372
## 9 1.2923 nan 0.1000 0.0335
## 10 1.2698 nan 0.1000 0.0323
## 20 1.1034 nan 0.1000 0.0197
## 40 0.9299 nan 0.1000 0.0079
## 60 0.8208 nan 0.1000 0.0048
## 80 0.7410 nan 0.1000 0.0031
## 100 0.6773 nan 0.1000 0.0042
## 120 0.6237 nan 0.1000 0.0027
## 140 0.5777 nan 0.1000 0.0034
## 150 0.5557 nan 0.1000 0.0015modBoost$finalModel## A gradient boosted model with multinomial loss function.
## 150 iterations were performed.
## There were 25 predictors of which 25 had non-zero influence.Similar to Random Forest, we check for the accuracy of the model in the validation set.
predictBoost <- predict(modBoost, validating)
cmBoost<- confusionMatrix(predictBoost, as.factor(validating$classe))
ggplot(data = as.data.frame(cmBoost$table),aes(x=Prediction,y=Reference,fill=Freq))+
geom_tile()+
theme_light()+
geom_text(aes(label = Freq),size = 8, color = "white")+
ggtitle("Random Forest Accuracy = 0.8262")
Compared to the Random Forest, the Boost method has a lower accuracy at 83%.
Decision Trees
modDT <- rpart(classe~., training)
fancyRpartPlot(modDT)
Testing on the validation set and plotting accuracy
predictDT <- predict(modDT,validating,type = "class")
cmDT <- confusionMatrix(predictDT, as.factor(validating$classe))
ggplot(data = as.data.frame(cmDT$table),aes(x=Prediction,y=Reference,fill=Freq))+
geom_tile()+
theme_light()+
geom_text(aes(label = Freq),size = 8, color = "white")+
ggtitle("Random Forest Accuracy = 0.7866")
Similar to boost method, the accuracy of decision tree method has lower accuracy at 79% compared to random forest.
Model on Test Set
Now that we saw which model among the ones we’ve tried gives the highest accuracy, we use the chosen model to predict classe in the test set provided.
predictTest <- predict(modRF, testing)As a result we, have the below prediction for the 20 values in the testing set.
predictTest## [1] B A A A A E D B A A B C B A E E A B B B
## Levels: A B C D E