knitr::opts_chunk$set(echo = TRUE)


Data Count and Exploration
=================================================================================
rows 
---------------------------------------------------------------------------------
## Descriptives AND EDA 


```r
Real_Estate_1=Real_Estate[-1]
str(Real_Estate_1)
## 'data.frame':    414 obs. of  7 variables:
##  $ X1.transaction.date                   : num  2013 2013 2014 2014 2013 ...
##  $ X2.house.age                          : num  32 19.5 13.3 13.3 5 7.1 34.5 20.3 31.7 17.9 ...
##  $ X3.distance.to.the.nearest.MRT.station: num  84.9 306.6 562 562 390.6 ...
##  $ X4.number.of.convenience.stores       : int  10 9 5 5 5 3 7 6 1 3 ...
##  $ X5.latitude                           : num  25 25 25 25 25 ...
##  $ X6.longitude                          : num  122 122 122 122 122 ...
##  $ Y.house.price.of.unit.area            : num  37.9 42.2 47.3 54.8 43.1 32.1 40.3 46.7 18.8 22.1 ...
summary(Real_Estate_1)
##  X1.transaction.date  X2.house.age    X3.distance.to.the.nearest.MRT.station
##  Min.   :2013        Min.   : 0.000   Min.   :  23.38                       
##  1st Qu.:2013        1st Qu.: 9.025   1st Qu.: 289.32                       
##  Median :2013        Median :16.100   Median : 492.23                       
##  Mean   :2013        Mean   :17.713   Mean   :1083.89                       
##  3rd Qu.:2013        3rd Qu.:28.150   3rd Qu.:1454.28                       
##  Max.   :2014        Max.   :43.800   Max.   :6488.02                       
##  X4.number.of.convenience.stores  X5.latitude     X6.longitude  
##  Min.   : 0.000                  Min.   :24.93   Min.   :121.5  
##  1st Qu.: 1.000                  1st Qu.:24.96   1st Qu.:121.5  
##  Median : 4.000                  Median :24.97   Median :121.5  
##  Mean   : 4.094                  Mean   :24.97   Mean   :121.5  
##  3rd Qu.: 6.000                  3rd Qu.:24.98   3rd Qu.:121.5  
##  Max.   :10.000                  Max.   :25.01   Max.   :121.6  
##  Y.house.price.of.unit.area
##  Min.   :  7.60            
##  1st Qu.: 27.70            
##  Median : 38.45            
##  Mean   : 37.98            
##  3rd Qu.: 46.60            
##  Max.   :117.50
colSums(is.na(Real_Estate_1))
##                    X1.transaction.date                           X2.house.age 
##                                      0                                      0 
## X3.distance.to.the.nearest.MRT.station        X4.number.of.convenience.stores 
##                                      0                                      0 
##                            X5.latitude                           X6.longitude 
##                                      0                                      0 
##             Y.house.price.of.unit.area 
##                                      0
colSums(Real_Estate_1=="")
##                    X1.transaction.date                           X2.house.age 
##                                      0                                      0 
## X3.distance.to.the.nearest.MRT.station        X4.number.of.convenience.stores 
##                                      0                                      0 
##                            X5.latitude                           X6.longitude 
##                                      0                                      0 
##             Y.house.price.of.unit.area 
##                                      0
plot_intro(Real_Estate_1)

plot_correlation(Real_Estate_1)

ReName the variables

Real_Estate_2=Real_Estate_1%>%rename(transaction_date=X1.transaction.date,House_age=X2.house.age,Distance_to_NearestMRT_station=X3.distance.to.the.nearest.MRT.station,Number_convenience_Stores=X4.number.of.convenience.stores,Latitude=X5.latitude,Longitude=X6.longitude,House_price_Area=Y.house.price.of.unit.area )
names(Real_Estate_2)
## [1] "transaction_date"               "House_age"                     
## [3] "Distance_to_NearestMRT_station" "Number_convenience_Stores"     
## [5] "Latitude"                       "Longitude"                     
## [7] "House_price_Area"

Data partition By Real Estate

Train=createDataPartition(y=Real_Estate_2$House_price_Area,p=0.9,list=F)
training=Real_Estate_2[Train,]
testing=Real_Estate_2[-Train,]
ctrl=trainControl(method="repeatedcv",repeats = 3,number = 10)

Applying all suitable ML models in that selecting appropriate ML model.

Model_Reg=train(House_price_Area~.,data=training,method="lm",trControl=ctrl,preProcess=c("center","scale"))
Model_knn=train(House_price_Area~.,data=training,method="knn",trControl=ctrl,preProcess=c("center","scale"))
Model_tree=train(House_price_Area~.,data=training,method="rpart",trControl=ctrl,preProcess=c("center","scale"))
## Warning in nominalTrainWorkflow(x = x, y = y, wts = weights, info = trainInfo, :
## There were missing values in resampled performance measures.
Model_Rf=train(House_price_Area~.,data=training,method="rf",trControl=ctrl,preProcess=c("center","scale"))
Model_svm=train(House_price_Area~.,data=training,method="svmLinear",trControl=ctrl,preProcess=c("center","scale"))
Model_gbm=train(House_price_Area~.,data=training,method="gbm",trControl=ctrl,preProcess=c("center","scale"))
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      173.8574             nan     0.1000   16.8317
##      2      157.8133             nan     0.1000   14.0348
##      3      145.8205             nan     0.1000   11.2588
##      4      135.8438             nan     0.1000    9.1254
##      5      126.5007             nan     0.1000    7.1449
##      6      118.4296             nan     0.1000    6.7285
##      7      112.2534             nan     0.1000    5.4733
##      8      107.9985             nan     0.1000    4.1323
##      9      103.1003             nan     0.1000    3.6576
##     10       98.4157             nan     0.1000    3.5300
##     20       72.2596             nan     0.1000    1.4370
##     40       55.4523             nan     0.1000    0.1034
##     60       51.0776             nan     0.1000   -0.3135
##     80       49.2429             nan     0.1000   -0.2175
##    100       48.2211             nan     0.1000   -0.3117
##    120       46.9564             nan     0.1000   -0.1079
##    140       46.1809             nan     0.1000   -0.0454
##    150       45.7589             nan     0.1000   -0.1203
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      172.1182             nan     0.1000   21.3620
##      2      154.1036             nan     0.1000   17.7268
##      3      139.8302             nan     0.1000   14.8404
##      4      127.4832             nan     0.1000   10.1846
##      5      118.0092             nan     0.1000    8.8529
##      6      109.2443             nan     0.1000    7.2148
##      7      102.3536             nan     0.1000    5.4723
##      8       96.9348             nan     0.1000    5.7208
##      9       91.0056             nan     0.1000    5.1516
##     10       86.7034             nan     0.1000    4.1289
##     20       60.8878             nan     0.1000    0.9978
##     40       47.6852             nan     0.1000   -0.2054
##     60       43.2226             nan     0.1000   -0.2876
##     80       40.4593             nan     0.1000   -0.2426
##    100       38.3699             nan     0.1000   -0.1202
##    120       36.4864             nan     0.1000   -0.2775
##    140       34.3031             nan     0.1000   -0.1013
##    150       33.6111             nan     0.1000   -0.3656
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      166.8017             nan     0.1000   21.2540
##      2      148.9016             nan     0.1000   16.9888
##      3      133.7625             nan     0.1000   16.1216
##      4      122.0967             nan     0.1000   10.8723
##      5      111.6798             nan     0.1000    9.6732
##      6      104.0545             nan     0.1000    7.4084
##      7       96.5949             nan     0.1000    5.1185
##      8       89.4511             nan     0.1000    4.5392
##      9       83.3575             nan     0.1000    3.9967
##     10       78.4522             nan     0.1000    5.1575
##     20       54.9571             nan     0.1000    0.5653
##     40       43.3863             nan     0.1000   -0.2942
##     60       38.7072             nan     0.1000   -0.2989
##     80       35.2495             nan     0.1000    0.0337
##    100       32.5927             nan     0.1000   -0.4468
##    120       29.8899             nan     0.1000   -0.3365
##    140       27.9299             nan     0.1000   -0.1631
##    150       27.0354             nan     0.1000   -0.3622
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      168.5016             nan     0.1000   16.6025
##      2      153.8749             nan     0.1000   14.5555
##      3      142.3491             nan     0.1000   10.9536
##      4      135.3820             nan     0.1000    4.8853
##      5      124.9373             nan     0.1000    7.7614
##      6      117.4740             nan     0.1000    6.3481
##      7      111.9039             nan     0.1000    4.9758
##      8      105.5004             nan     0.1000    4.6767
##      9      100.7879             nan     0.1000    4.4666
##     10       96.5012             nan     0.1000    4.0949
##     20       71.6219             nan     0.1000    1.1523
##     40       55.4570             nan     0.1000    0.1539
##     60       50.7792             nan     0.1000    0.0367
##     80       48.9860             nan     0.1000   -0.1659
##    100       47.8984             nan     0.1000   -0.1471
##    120       46.9619             nan     0.1000   -0.0306
##    140       46.1022             nan     0.1000   -0.1518
##    150       45.6637             nan     0.1000   -0.3678
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      164.6064             nan     0.1000   20.6008
##      2      148.6068             nan     0.1000   14.6665
##      3      134.5082             nan     0.1000   12.8639
##      4      122.6541             nan     0.1000    8.9622
##      5      112.5659             nan     0.1000    9.6514
##      6      103.9603             nan     0.1000    7.3454
##      7       97.1966             nan     0.1000    6.3107
##      8       92.3739             nan     0.1000    3.9353
##      9       87.7380             nan     0.1000    3.9188
##     10       82.9895             nan     0.1000    4.1475
##     20       58.9195             nan     0.1000    0.6794
##     40       46.8424             nan     0.1000   -0.2068
##     60       43.1109             nan     0.1000   -0.0708
##     80       40.1380             nan     0.1000   -0.1378
##    100       38.0571             nan     0.1000   -0.1217
##    120       36.5832             nan     0.1000   -0.2961
##    140       35.1085             nan     0.1000   -0.3096
##    150       34.4456             nan     0.1000   -0.1559
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      162.8497             nan     0.1000   21.6110
##      2      144.2104             nan     0.1000   15.6890
##      3      129.6890             nan     0.1000   14.7729
##      4      118.0232             nan     0.1000   11.8362
##      5      108.3447             nan     0.1000    9.6706
##      6       99.3288             nan     0.1000    8.8905
##      7       92.2055             nan     0.1000    6.5719
##      8       86.1906             nan     0.1000    4.1362
##      9       81.3363             nan     0.1000    4.7121
##     10       76.6514             nan     0.1000    3.1463
##     20       54.0556             nan     0.1000    0.9715
##     40       42.0906             nan     0.1000   -0.1059
##     60       38.7524             nan     0.1000   -0.2135
##     80       35.7571             nan     0.1000   -0.5726
##    100       32.4736             nan     0.1000   -0.1414
##    120       29.8581             nan     0.1000   -0.3341
##    140       27.6404             nan     0.1000   -0.3621
##    150       26.6246             nan     0.1000   -0.2560
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      174.6188             nan     0.1000   17.8243
##      2      161.6744             nan     0.1000   15.1034
##      3      148.5822             nan     0.1000   11.6880
##      4      137.8196             nan     0.1000   10.3375
##      5      128.2781             nan     0.1000    8.6985
##      6      122.0693             nan     0.1000    7.1427
##      7      114.9404             nan     0.1000    6.5592
##      8      109.4786             nan     0.1000    4.4154
##      9      103.9371             nan     0.1000    4.7396
##     10       99.6796             nan     0.1000    3.6243
##     20       72.1751             nan     0.1000    0.7695
##     40       56.8030             nan     0.1000   -0.0360
##     60       52.5156             nan     0.1000   -0.2096
##     80       50.4362             nan     0.1000   -0.0864
##    100       48.9537             nan     0.1000    0.0148
##    120       47.7173             nan     0.1000   -0.0831
##    140       46.4364             nan     0.1000   -0.0952
##    150       46.0993             nan     0.1000   -0.1660
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      168.7425             nan     0.1000   19.0669
##      2      149.2861             nan     0.1000   15.0168
##      3      136.0718             nan     0.1000   12.7757
##      4      124.5344             nan     0.1000    9.8957
##      5      114.3260             nan     0.1000   10.2888
##      6      105.3315             nan     0.1000    9.3281
##      7       98.7568             nan     0.1000    5.6503
##      8       93.4317             nan     0.1000    4.4005
##      9       88.8460             nan     0.1000    4.1453
##     10       85.1221             nan     0.1000    3.0560
##     20       58.5369             nan     0.1000    0.9669
##     40       46.9680             nan     0.1000   -0.0059
##     60       43.4475             nan     0.1000   -0.3030
##     80       40.5697             nan     0.1000   -0.2140
##    100       38.2180             nan     0.1000   -0.2838
##    120       36.4086             nan     0.1000   -0.2457
##    140       34.5558             nan     0.1000   -0.1324
##    150       33.8439             nan     0.1000   -0.3925
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      167.0396             nan     0.1000   22.8756
##      2      145.1889             nan     0.1000   19.1636
##      3      129.9285             nan     0.1000   13.5194
##      4      118.1553             nan     0.1000    9.8232
##      5      107.7343             nan     0.1000   10.2404
##      6       99.0382             nan     0.1000    8.2066
##      7       92.2892             nan     0.1000    6.2218
##      8       84.3028             nan     0.1000    5.4757
##      9       78.5802             nan     0.1000    3.8909
##     10       73.4505             nan     0.1000    4.2072
##     20       51.7010             nan     0.1000    0.9400
##     40       40.6508             nan     0.1000   -0.4158
##     60       36.0283             nan     0.1000   -0.2874
##     80       32.6911             nan     0.1000   -0.3286
##    100       30.2620             nan     0.1000   -0.1836
##    120       28.5014             nan     0.1000   -0.3593
##    140       26.4838             nan     0.1000   -0.0256
##    150       25.6497             nan     0.1000   -0.2401
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      170.6096             nan     0.1000   16.6696
##      2      155.9536             nan     0.1000   13.1006
##      3      145.1949             nan     0.1000   10.6014
##      4      134.5482             nan     0.1000   10.5967
##      5      126.9528             nan     0.1000    7.7916
##      6      119.5952             nan     0.1000    5.3024
##      7      113.1393             nan     0.1000    6.0935
##      8      107.1300             nan     0.1000    4.9124
##      9      102.2139             nan     0.1000    4.5521
##     10       97.7309             nan     0.1000    3.9985
##     20       71.8082             nan     0.1000    1.4317
##     40       55.6707             nan     0.1000   -0.0834
##     60       51.0243             nan     0.1000   -0.2201
##     80       49.2399             nan     0.1000   -0.0176
##    100       48.0073             nan     0.1000   -0.0131
##    120       46.7260             nan     0.1000   -0.3082
##    140       45.9787             nan     0.1000   -0.1080
##    150       45.7671             nan     0.1000   -0.1116
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      168.4513             nan     0.1000   17.3138
##      2      150.5871             nan     0.1000   16.3981
##      3      135.8956             nan     0.1000   12.5014
##      4      123.7562             nan     0.1000   11.9034
##      5      113.4286             nan     0.1000    9.5364
##      6      104.8089             nan     0.1000    7.2402
##      7       98.7396             nan     0.1000    5.5485
##      8       92.6878             nan     0.1000    5.8803
##      9       87.6128             nan     0.1000    3.8203
##     10       83.2187             nan     0.1000    4.2355
##     20       59.3459             nan     0.1000    1.2166
##     40       46.0607             nan     0.1000    0.0510
##     60       42.0361             nan     0.1000   -0.2341
##     80       39.3354             nan     0.1000   -0.2673
##    100       37.2925             nan     0.1000   -0.6212
##    120       34.8812             nan     0.1000   -0.0568
##    140       32.9938             nan     0.1000   -0.3824
##    150       32.0152             nan     0.1000   -0.1750
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      165.6493             nan     0.1000   20.4421
##      2      146.7843             nan     0.1000   17.4449
##      3      133.0499             nan     0.1000   11.3855
##      4      119.3494             nan     0.1000   12.5337
##      5      108.3072             nan     0.1000    9.0348
##      6       99.4888             nan     0.1000    5.8279
##      7       93.2598             nan     0.1000    5.8266
##      8       86.9668             nan     0.1000    5.9250
##      9       82.4079             nan     0.1000    3.8112
##     10       77.1011             nan     0.1000    4.1610
##     20       53.8368             nan     0.1000    0.5056
##     40       42.1271             nan     0.1000   -0.4189
##     60       38.0678             nan     0.1000   -0.6665
##     80       34.5048             nan     0.1000   -0.6162
##    100       32.5019             nan     0.1000   -0.2489
##    120       29.5560             nan     0.1000   -0.2121
##    140       27.9481             nan     0.1000   -0.2639
##    150       27.2348             nan     0.1000   -0.4109
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      171.6782             nan     0.1000   17.8119
##      2      157.2903             nan     0.1000   15.6133
##      3      145.4117             nan     0.1000   12.1291
##      4      135.1359             nan     0.1000    9.5941
##      5      125.0991             nan     0.1000    8.9505
##      6      116.8946             nan     0.1000    5.8442
##      7      111.4576             nan     0.1000    5.9548
##      8      105.8111             nan     0.1000    4.8389
##      9      101.6640             nan     0.1000    4.0834
##     10       98.1557             nan     0.1000    3.1153
##     20       72.0133             nan     0.1000    1.1377
##     40       54.1982             nan     0.1000    0.3037
##     60       49.9165             nan     0.1000   -0.0767
##     80       48.2202             nan     0.1000   -0.2434
##    100       47.3403             nan     0.1000   -0.0778
##    120       46.2989             nan     0.1000   -0.1497
##    140       45.3403             nan     0.1000   -0.1004
##    150       45.1225             nan     0.1000   -0.1700
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      167.6818             nan     0.1000   22.8249
##      2      150.4196             nan     0.1000   16.5059
##      3      135.2966             nan     0.1000   14.7819
##      4      123.1353             nan     0.1000   11.1459
##      5      112.8285             nan     0.1000    8.2047
##      6      103.8163             nan     0.1000    8.2344
##      7       97.1728             nan     0.1000    5.6403
##      8       90.1210             nan     0.1000    6.5181
##      9       84.3055             nan     0.1000    4.5018
##     10       80.2367             nan     0.1000    3.7021
##     20       57.0459             nan     0.1000    0.8518
##     40       45.3844             nan     0.1000    0.1248
##     60       41.6093             nan     0.1000   -0.1505
##     80       38.7796             nan     0.1000   -0.3018
##    100       36.8936             nan     0.1000   -0.4025
##    120       34.8747             nan     0.1000   -0.3182
##    140       32.7905             nan     0.1000   -0.3939
##    150       32.2139             nan     0.1000   -0.1913
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      166.2938             nan     0.1000   24.5922
##      2      146.8952             nan     0.1000   17.7832
##      3      131.5720             nan     0.1000   14.9565
##      4      119.1460             nan     0.1000   11.6538
##      5      107.1773             nan     0.1000   11.6329
##      6       99.0804             nan     0.1000    6.7230
##      7       90.8072             nan     0.1000    5.9239
##      8       84.3212             nan     0.1000    6.3676
##      9       78.5980             nan     0.1000    4.7512
##     10       72.7513             nan     0.1000    3.0766
##     20       51.7453             nan     0.1000    0.5105
##     40       41.5031             nan     0.1000   -0.7483
##     60       37.5376             nan     0.1000   -0.3020
##     80       34.2221             nan     0.1000   -0.6506
##    100       31.6109             nan     0.1000   -0.5267
##    120       29.2094             nan     0.1000   -0.0480
##    140       27.2219             nan     0.1000   -0.1874
##    150       26.5029             nan     0.1000   -0.0574
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      170.3912             nan     0.1000   16.7817
##      2      156.5473             nan     0.1000   13.6900
##      3      144.4494             nan     0.1000   13.1799
##      4      134.5621             nan     0.1000   10.0907
##      5      126.7355             nan     0.1000    7.8831
##      6      118.9027             nan     0.1000    7.6249
##      7      111.7554             nan     0.1000    6.5385
##      8      106.7692             nan     0.1000    3.5473
##      9      102.2389             nan     0.1000    3.7588
##     10       97.8558             nan     0.1000    3.5346
##     20       71.3944             nan     0.1000    1.1035
##     40       54.6462             nan     0.1000   -0.1867
##     60       50.5226             nan     0.1000   -0.1017
##     80       48.6695             nan     0.1000   -0.0190
##    100       47.1603             nan     0.1000   -0.0751
##    120       46.1754             nan     0.1000   -0.0714
##    140       45.3265             nan     0.1000   -0.2824
##    150       44.8055             nan     0.1000   -0.2288
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      167.9313             nan     0.1000   20.2520
##      2      150.7628             nan     0.1000   16.6476
##      3      137.6056             nan     0.1000   12.9131
##      4      126.5005             nan     0.1000   12.0109
##      5      115.3235             nan     0.1000    9.1947
##      6      107.1198             nan     0.1000    7.7963
##      7      100.5868             nan     0.1000    5.3663
##      8       93.7322             nan     0.1000    6.2140
##      9       89.0227             nan     0.1000    3.6967
##     10       83.9476             nan     0.1000    4.8174
##     20       57.8312             nan     0.1000    0.8058
##     40       46.1200             nan     0.1000    0.0740
##     60       42.0704             nan     0.1000   -0.5450
##     80       39.4172             nan     0.1000   -0.3212
##    100       36.8923             nan     0.1000   -0.1508
##    120       34.6199             nan     0.1000   -0.1726
##    140       32.7572             nan     0.1000   -0.2326
##    150       32.0231             nan     0.1000   -0.3674
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      165.7431             nan     0.1000   21.5024
##      2      148.8474             nan     0.1000   16.8349
##      3      133.1752             nan     0.1000   14.0487
##      4      120.8181             nan     0.1000   12.0715
##      5      110.1758             nan     0.1000   11.0379
##      6      101.1819             nan     0.1000    7.6947
##      7       92.5433             nan     0.1000    7.5987
##      8       86.7912             nan     0.1000    4.4467
##      9       81.5831             nan     0.1000    4.0606
##     10       77.6196             nan     0.1000    3.4173
##     20       52.5801             nan     0.1000    0.6331
##     40       41.9627             nan     0.1000   -0.3286
##     60       36.7412             nan     0.1000   -0.5673
##     80       33.6598             nan     0.1000   -0.3833
##    100       30.9590             nan     0.1000   -0.1739
##    120       28.7585             nan     0.1000   -0.4956
##    140       26.5083             nan     0.1000   -0.1252
##    150       25.6858             nan     0.1000   -0.1988
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      168.1270             nan     0.1000   16.7132
##      2      154.2726             nan     0.1000   11.9972
##      3      142.6979             nan     0.1000   12.2631
##      4      132.5500             nan     0.1000   10.1687
##      5      124.8930             nan     0.1000    7.4250
##      6      116.7602             nan     0.1000    6.6763
##      7      110.6143             nan     0.1000    5.8740
##      8      105.0078             nan     0.1000    4.8921
##      9      100.4819             nan     0.1000    3.7449
##     10       95.9961             nan     0.1000    4.0386
##     20       70.3454             nan     0.1000    1.4695
##     40       55.0997             nan     0.1000   -0.0170
##     60       50.5515             nan     0.1000   -0.0531
##     80       48.9539             nan     0.1000   -0.2300
##    100       47.8687             nan     0.1000   -0.1529
##    120       46.7648             nan     0.1000   -0.1534
##    140       45.9461             nan     0.1000   -0.0919
##    150       45.5336             nan     0.1000   -0.0796
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      165.5735             nan     0.1000   18.8770
##      2      148.3729             nan     0.1000   16.1174
##      3      134.3706             nan     0.1000   13.5330
##      4      124.3162             nan     0.1000    9.1378
##      5      115.5982             nan     0.1000    8.8596
##      6      105.6771             nan     0.1000    6.7950
##      7       97.7669             nan     0.1000    5.3383
##      8       91.8965             nan     0.1000    5.1086
##      9       86.9722             nan     0.1000    4.0711
##     10       82.7008             nan     0.1000    3.5543
##     20       59.2939             nan     0.1000    0.7149
##     40       47.5214             nan     0.1000   -0.2156
##     60       43.3315             nan     0.1000   -0.2090
##     80       40.3613             nan     0.1000   -0.0948
##    100       37.6891             nan     0.1000   -0.3476
##    120       36.0906             nan     0.1000   -0.1283
##    140       34.3351             nan     0.1000   -0.6273
##    150       33.3069             nan     0.1000   -0.1299
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      164.0366             nan     0.1000   18.2599
##      2      148.1082             nan     0.1000   16.4471
##      3      132.1911             nan     0.1000   15.1310
##      4      120.5544             nan     0.1000   11.5955
##      5      109.6512             nan     0.1000    9.0658
##      6       99.6689             nan     0.1000    8.7157
##      7       92.1464             nan     0.1000    5.8551
##      8       86.3821             nan     0.1000    5.9837
##      9       80.5359             nan     0.1000    4.1400
##     10       76.0348             nan     0.1000    3.0386
##     20       52.6352             nan     0.1000    0.3506
##     40       41.7357             nan     0.1000   -0.1689
##     60       37.2145             nan     0.1000   -0.2321
##     80       33.6508             nan     0.1000   -0.3288
##    100       30.7835             nan     0.1000   -0.0659
##    120       28.3378             nan     0.1000   -0.3439
##    140       26.4703             nan     0.1000   -0.2541
##    150       25.3534             nan     0.1000   -0.3018
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      170.0493             nan     0.1000   17.4611
##      2      155.3824             nan     0.1000   13.9168
##      3      143.4748             nan     0.1000   11.6139
##      4      134.2545             nan     0.1000    9.8410
##      5      126.2473             nan     0.1000    7.1643
##      6      119.2633             nan     0.1000    7.0411
##      7      113.6584             nan     0.1000    6.0915
##      8      108.1978             nan     0.1000    4.1388
##      9      103.3112             nan     0.1000    4.9375
##     10       98.6521             nan     0.1000    3.1854
##     20       71.6664             nan     0.1000    1.5481
##     40       54.4468             nan     0.1000   -0.2809
##     60       49.5225             nan     0.1000   -0.0694
##     80       47.4912             nan     0.1000   -0.1257
##    100       46.0895             nan     0.1000   -0.2510
##    120       45.0081             nan     0.1000   -0.1302
##    140       43.9609             nan     0.1000   -0.0513
##    150       43.5203             nan     0.1000   -0.2154
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      165.7097             nan     0.1000   19.1911
##      2      146.5755             nan     0.1000   17.5268
##      3      132.5601             nan     0.1000   14.1604
##      4      120.8054             nan     0.1000   11.3616
##      5      110.8152             nan     0.1000    8.7033
##      6      102.6030             nan     0.1000    7.0879
##      7       95.8808             nan     0.1000    6.3564
##      8       89.6360             nan     0.1000    4.7835
##      9       84.5916             nan     0.1000    4.2516
##     10       80.8009             nan     0.1000    3.5737
##     20       56.9600             nan     0.1000    0.9096
##     40       45.0420             nan     0.1000    0.0241
##     60       41.1274             nan     0.1000   -0.0746
##     80       38.3874             nan     0.1000    0.0058
##    100       35.8608             nan     0.1000   -0.2530
##    120       34.1271             nan     0.1000   -0.0979
##    140       32.6476             nan     0.1000   -0.0643
##    150       32.0885             nan     0.1000   -0.3081
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      166.3075             nan     0.1000   21.4062
##      2      147.8389             nan     0.1000   17.9145
##      3      132.9106             nan     0.1000   14.5822
##      4      121.0399             nan     0.1000   10.4277
##      5      110.0500             nan     0.1000   10.2375
##      6      101.3937             nan     0.1000    7.4996
##      7       93.3194             nan     0.1000    7.9293
##      8       87.1075             nan     0.1000    5.4561
##      9       82.5235             nan     0.1000    4.7515
##     10       77.7383             nan     0.1000    3.9765
##     20       52.2881             nan     0.1000    0.7517
##     40       41.5008             nan     0.1000   -0.3517
##     60       36.0160             nan     0.1000   -0.1356
##     80       33.3171             nan     0.1000   -0.2600
##    100       30.2649             nan     0.1000   -0.3069
##    120       27.9127             nan     0.1000   -0.2363
##    140       25.7954             nan     0.1000   -0.1241
##    150       24.8206             nan     0.1000   -0.3883
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      150.7680             nan     0.1000   16.8018
##      2      136.6589             nan     0.1000   13.4252
##      3      124.8886             nan     0.1000   11.7468
##      4      115.4584             nan     0.1000    9.2961
##      5      107.5420             nan     0.1000    7.2134
##      6      101.2836             nan     0.1000    6.5785
##      7       95.3555             nan     0.1000    5.7453
##      8       90.4294             nan     0.1000    4.2471
##      9       85.6771             nan     0.1000    4.2685
##     10       81.8113             nan     0.1000    2.8746
##     20       56.2120             nan     0.1000    0.9751
##     40       40.6135             nan     0.1000    0.1402
##     60       35.4163             nan     0.1000    0.0984
##     80       33.7553             nan     0.1000   -0.1048
##    100       32.5809             nan     0.1000   -0.0394
##    120       31.6549             nan     0.1000   -0.0814
##    140       31.0334             nan     0.1000   -0.2862
##    150       30.7325             nan     0.1000   -0.2913
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      146.8870             nan     0.1000   19.5593
##      2      132.1605             nan     0.1000   13.3191
##      3      117.1501             nan     0.1000   13.7256
##      4      107.2065             nan     0.1000    9.2037
##      5       97.8175             nan     0.1000    9.3512
##      6       88.3940             nan     0.1000    7.8300
##      7       81.5611             nan     0.1000    6.1136
##      8       75.9813             nan     0.1000    4.2139
##      9       70.9024             nan     0.1000    4.7431
##     10       66.8528             nan     0.1000    4.4000
##     20       44.7394             nan     0.1000    0.5948
##     40       33.0336             nan     0.1000    0.1117
##     60       29.8290             nan     0.1000   -0.1787
##     80       27.4847             nan     0.1000   -0.1677
##    100       25.5735             nan     0.1000   -0.0757
##    120       24.1532             nan     0.1000   -0.2150
##    140       22.8323             nan     0.1000   -0.1570
##    150       22.2896             nan     0.1000   -0.1179
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      146.0247             nan     0.1000   20.7063
##      2      128.4368             nan     0.1000   15.4370
##      3      113.8552             nan     0.1000   12.4763
##      4      101.8447             nan     0.1000   11.9649
##      5       91.1206             nan     0.1000    8.5620
##      6       84.0062             nan     0.1000    6.5989
##      7       77.0096             nan     0.1000    5.4620
##      8       71.1330             nan     0.1000    4.9687
##      9       65.4750             nan     0.1000    4.5848
##     10       61.1871             nan     0.1000    3.7162
##     20       38.4830             nan     0.1000    0.7602
##     40       28.5365             nan     0.1000   -0.1952
##     60       25.0116             nan     0.1000   -0.0163
##     80       22.5239             nan     0.1000   -0.1519
##    100       20.5426             nan     0.1000   -0.1038
##    120       19.0255             nan     0.1000   -0.0477
##    140       17.6239             nan     0.1000   -0.1804
##    150       17.1127             nan     0.1000   -0.1140
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      168.0228             nan     0.1000   17.6772
##      2      153.8431             nan     0.1000   14.0583
##      3      141.3163             nan     0.1000   12.4464
##      4      131.2200             nan     0.1000   10.0225
##      5      122.8321             nan     0.1000    6.5393
##      6      115.6752             nan     0.1000    6.6783
##      7      109.9065             nan     0.1000    5.6661
##      8      103.9047             nan     0.1000    6.0615
##      9       98.8511             nan     0.1000    4.7956
##     10       95.8909             nan     0.1000    3.3300
##     20       69.8823             nan     0.1000    0.6901
##     40       53.5300             nan     0.1000    0.3987
##     60       49.1384             nan     0.1000   -0.1013
##     80       47.1016             nan     0.1000   -0.1367
##    100       46.0229             nan     0.1000   -0.0122
##    120       44.8859             nan     0.1000   -0.0812
##    140       44.0765             nan     0.1000   -0.1061
##    150       43.6160             nan     0.1000   -0.1437
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      165.9270             nan     0.1000   19.8663
##      2      148.3543             nan     0.1000   15.6756
##      3      133.4844             nan     0.1000   13.5929
##      4      121.3959             nan     0.1000   12.1660
##      5      111.8536             nan     0.1000    9.9103
##      6      103.9098             nan     0.1000    8.3832
##      7       97.4046             nan     0.1000    5.0416
##      8       91.7821             nan     0.1000    5.6086
##      9       87.1946             nan     0.1000    4.4473
##     10       81.5089             nan     0.1000    4.5748
##     20       57.2682             nan     0.1000    0.5895
##     40       44.6071             nan     0.1000   -0.2543
##     60       40.4802             nan     0.1000   -0.2118
##     80       38.3748             nan     0.1000   -0.1224
##    100       36.0219             nan     0.1000   -0.2187
##    120       33.9761             nan     0.1000   -0.1029
##    140       32.5200             nan     0.1000   -0.2033
##    150       31.7538             nan     0.1000   -0.3265
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      162.5315             nan     0.1000   22.1892
##      2      144.2314             nan     0.1000   16.7256
##      3      128.6958             nan     0.1000   14.1850
##      4      115.9029             nan     0.1000   11.4108
##      5      106.5433             nan     0.1000    9.5468
##      6       98.4539             nan     0.1000    7.1336
##      7       91.1745             nan     0.1000    5.9617
##      8       84.8354             nan     0.1000    5.0806
##      9       79.5722             nan     0.1000    4.3383
##     10       74.7273             nan     0.1000    4.3507
##     20       51.1141             nan     0.1000    1.2026
##     40       40.1979             nan     0.1000   -0.2875
##     60       35.7130             nan     0.1000   -0.2343
##     80       32.6120             nan     0.1000   -0.2233
##    100       29.6593             nan     0.1000   -0.2737
##    120       27.3469             nan     0.1000   -0.1784
##    140       25.0950             nan     0.1000   -0.2616
##    150       24.2475             nan     0.1000   -0.3179
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      150.2447             nan     0.1000   17.2506
##      2      135.9160             nan     0.1000   12.6614
##      3      124.7190             nan     0.1000   12.0571
##      4      116.0614             nan     0.1000    8.3781
##      5      108.5812             nan     0.1000    6.1999
##      6      100.7909             nan     0.1000    7.4032
##      7       95.5181             nan     0.1000    5.7123
##      8       89.8961             nan     0.1000    4.5244
##      9       85.1217             nan     0.1000    4.4016
##     10       80.8584             nan     0.1000    3.5050
##     20       56.9858             nan     0.1000    1.2498
##     40       41.4765             nan     0.1000    0.0420
##     60       36.5915             nan     0.1000    0.0144
##     80       34.5133             nan     0.1000   -0.0411
##    100       33.4307             nan     0.1000   -0.0889
##    120       32.4769             nan     0.1000   -0.1889
##    140       31.7511             nan     0.1000   -0.1898
##    150       31.4027             nan     0.1000   -0.1748
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      147.5681             nan     0.1000   19.5589
##      2      131.5766             nan     0.1000   14.9959
##      3      118.7502             nan     0.1000   12.7040
##      4      108.4279             nan     0.1000   10.6489
##      5       98.7352             nan     0.1000    8.8822
##      6       91.4997             nan     0.1000    6.6397
##      7       85.3148             nan     0.1000    5.0532
##      8       79.7162             nan     0.1000    5.2876
##      9       74.3415             nan     0.1000    4.3919
##     10       69.7612             nan     0.1000    3.0987
##     20       45.1992             nan     0.1000    0.6865
##     40       33.5566             nan     0.1000   -0.0678
##     60       29.5570             nan     0.1000    0.0060
##     80       27.3938             nan     0.1000   -0.2864
##    100       26.0800             nan     0.1000   -0.1849
##    120       24.6467             nan     0.1000   -0.0344
##    140       23.2397             nan     0.1000   -0.2797
##    150       22.6081             nan     0.1000   -0.0951
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      147.1806             nan     0.1000   18.5755
##      2      128.4372             nan     0.1000   17.4637
##      3      113.7545             nan     0.1000   13.3749
##      4      102.1887             nan     0.1000   11.0809
##      5       92.7330             nan     0.1000    9.5273
##      6       83.9638             nan     0.1000    8.0024
##      7       76.8992             nan     0.1000    6.0567
##      8       70.2149             nan     0.1000    5.5690
##      9       65.6113             nan     0.1000    4.0948
##     10       61.1225             nan     0.1000    3.8328
##     20       39.8642             nan     0.1000    0.8418
##     40       30.0778             nan     0.1000    0.1550
##     60       26.0085             nan     0.1000    0.0672
##     80       23.5185             nan     0.1000   -0.1482
##    100       21.8687             nan     0.1000   -0.1749
##    120       20.2668             nan     0.1000   -0.1037
##    140       18.8985             nan     0.1000   -0.1847
##    150       18.3939             nan     0.1000   -0.1965
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      173.1494             nan     0.1000   18.0804
##      2      158.0056             nan     0.1000   14.1792
##      3      145.4776             nan     0.1000   10.8173
##      4      135.3970             nan     0.1000    9.6933
##      5      125.8291             nan     0.1000    8.4090
##      6      118.4007             nan     0.1000    6.5776
##      7      111.7568             nan     0.1000    5.8314
##      8      107.1660             nan     0.1000    3.4215
##      9      101.7389             nan     0.1000    4.3563
##     10       97.0168             nan     0.1000    4.3753
##     20       69.8387             nan     0.1000    1.5925
##     40       53.3555             nan     0.1000   -0.0440
##     60       48.8150             nan     0.1000   -0.0208
##     80       47.1313             nan     0.1000   -0.0626
##    100       45.8869             nan     0.1000   -0.0561
##    120       44.9752             nan     0.1000   -0.3468
##    140       44.1222             nan     0.1000   -0.1020
##    150       43.8578             nan     0.1000   -0.2473
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      169.1542             nan     0.1000   20.6764
##      2      153.3486             nan     0.1000   15.6399
##      3      137.1671             nan     0.1000   14.2382
##      4      125.0563             nan     0.1000   12.0143
##      5      115.1746             nan     0.1000   10.9564
##      6      107.4277             nan     0.1000    6.8757
##      7      100.1207             nan     0.1000    6.8382
##      8       94.8744             nan     0.1000    6.2021
##      9       90.2016             nan     0.1000    5.3942
##     10       85.0299             nan     0.1000    5.1423
##     20       57.1373             nan     0.1000    1.0137
##     40       45.2371             nan     0.1000   -0.1726
##     60       41.1037             nan     0.1000   -0.1722
##     80       38.4982             nan     0.1000   -0.4623
##    100       36.7709             nan     0.1000   -0.4832
##    120       34.9325             nan     0.1000   -0.0452
##    140       33.6599             nan     0.1000   -0.2457
##    150       33.0008             nan     0.1000   -0.0683
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      164.6952             nan     0.1000   24.0902
##      2      145.8330             nan     0.1000   18.1490
##      3      131.0013             nan     0.1000   14.8654
##      4      118.8540             nan     0.1000   10.8114
##      5      107.3758             nan     0.1000    9.8808
##      6       98.6308             nan     0.1000    7.9395
##      7       91.2420             nan     0.1000    7.6149
##      8       85.4763             nan     0.1000    5.1840
##      9       80.7667             nan     0.1000    4.4317
##     10       75.8659             nan     0.1000    4.0831
##     20       52.7071             nan     0.1000    0.8363
##     40       40.8694             nan     0.1000   -0.0397
##     60       36.9646             nan     0.1000   -0.4074
##     80       34.1891             nan     0.1000   -0.1475
##    100       31.2996             nan     0.1000   -0.1033
##    120       28.4761             nan     0.1000   -0.2777
##    140       26.5001             nan     0.1000   -0.1663
##    150       25.5272             nan     0.1000   -0.0829
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      168.1852             nan     0.1000   16.3124
##      2      154.4004             nan     0.1000   13.1964
##      3      142.7421             nan     0.1000   10.7158
##      4      133.3403             nan     0.1000    9.7174
##      5      124.4114             nan     0.1000    8.1662
##      6      116.6179             nan     0.1000    7.0708
##      7      110.0728             nan     0.1000    5.6713
##      8      105.5075             nan     0.1000    3.8512
##      9      101.1361             nan     0.1000    2.7026
##     10       96.6475             nan     0.1000    3.4086
##     20       70.0204             nan     0.1000    1.9660
##     40       53.0673             nan     0.1000   -0.0299
##     60       48.4441             nan     0.1000    0.0150
##     80       46.4568             nan     0.1000   -0.2328
##    100       44.9404             nan     0.1000    0.0192
##    120       43.8709             nan     0.1000   -0.2242
##    140       42.8804             nan     0.1000   -0.1170
##    150       42.4914             nan     0.1000   -0.1190
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      166.3762             nan     0.1000   20.2381
##      2      149.9343             nan     0.1000   15.6987
##      3      136.9466             nan     0.1000   11.6270
##      4      124.7585             nan     0.1000   13.0501
##      5      114.1657             nan     0.1000   10.8263
##      6      105.5692             nan     0.1000    7.5309
##      7       97.7695             nan     0.1000    5.7712
##      8       91.3284             nan     0.1000    6.0375
##      9       86.0222             nan     0.1000    4.9083
##     10       81.3297             nan     0.1000    2.9586
##     20       55.5417             nan     0.1000    0.4688
##     40       43.0337             nan     0.1000    0.0996
##     60       39.7015             nan     0.1000   -0.0727
##     80       36.9446             nan     0.1000   -0.5276
##    100       34.5593             nan     0.1000   -0.4009
##    120       33.2221             nan     0.1000   -0.3895
##    140       31.9059             nan     0.1000   -0.1896
##    150       31.3058             nan     0.1000   -0.2825
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      164.1627             nan     0.1000   21.5676
##      2      145.7816             nan     0.1000   17.2375
##      3      130.9563             nan     0.1000   13.3572
##      4      117.3121             nan     0.1000   11.0699
##      5      106.9695             nan     0.1000    8.3613
##      6       97.7907             nan     0.1000    7.9725
##      7       89.9603             nan     0.1000    7.2381
##      8       84.5408             nan     0.1000    4.4586
##      9       79.0320             nan     0.1000    4.9543
##     10       73.0287             nan     0.1000    4.5998
##     20       48.8680             nan     0.1000    0.0017
##     40       38.5423             nan     0.1000   -0.0336
##     60       34.1522             nan     0.1000   -0.0124
##     80       30.8624             nan     0.1000   -0.2011
##    100       28.7107             nan     0.1000   -0.3997
##    120       26.8767             nan     0.1000   -0.2049
##    140       24.9416             nan     0.1000   -0.1475
##    150       24.1251             nan     0.1000   -0.4403
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      167.7038             nan     0.1000   17.9631
##      2      153.1229             nan     0.1000   13.9073
##      3      141.3056             nan     0.1000   11.3960
##      4      131.3258             nan     0.1000    8.9382
##      5      123.0983             nan     0.1000    8.4611
##      6      116.8530             nan     0.1000    6.5504
##      7      109.3595             nan     0.1000    6.3094
##      8      103.4555             nan     0.1000    4.6419
##      9       98.1633             nan     0.1000    4.5284
##     10       94.5458             nan     0.1000    2.9923
##     20       68.7521             nan     0.1000    0.6474
##     40       52.9681             nan     0.1000    0.1483
##     60       48.4862             nan     0.1000   -0.4351
##     80       47.0285             nan     0.1000   -0.3338
##    100       45.7656             nan     0.1000   -0.0226
##    120       44.9170             nan     0.1000   -0.1045
##    140       44.1414             nan     0.1000   -0.1046
##    150       43.7982             nan     0.1000   -0.3145
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      164.3598             nan     0.1000   21.9463
##      2      146.6479             nan     0.1000   16.9968
##      3      132.5918             nan     0.1000   13.8872
##      4      121.8243             nan     0.1000   11.3254
##      5      110.0831             nan     0.1000   10.9965
##      6      102.1222             nan     0.1000    7.4027
##      7       96.3678             nan     0.1000    5.4487
##      8       90.1282             nan     0.1000    5.8871
##      9       85.1761             nan     0.1000    4.5887
##     10       79.5489             nan     0.1000    4.8850
##     20       55.4179             nan     0.1000    0.1399
##     40       43.7749             nan     0.1000   -0.0060
##     60       40.0654             nan     0.1000   -0.1403
##     80       37.4092             nan     0.1000   -0.5152
##    100       35.4476             nan     0.1000   -0.4612
##    120       33.8881             nan     0.1000   -0.0615
##    140       32.4255             nan     0.1000   -0.1935
##    150       31.9217             nan     0.1000   -0.2310
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      164.7362             nan     0.1000   19.4297
##      2      146.4602             nan     0.1000   19.2101
##      3      129.7479             nan     0.1000   15.9240
##      4      116.8373             nan     0.1000   12.9598
##      5      105.6798             nan     0.1000   10.4191
##      6       97.1433             nan     0.1000    8.3418
##      7       90.1395             nan     0.1000    6.3366
##      8       84.4511             nan     0.1000    5.5656
##      9       79.6994             nan     0.1000    4.7755
##     10       75.4129             nan     0.1000    3.8693
##     20       50.9881             nan     0.1000    1.1009
##     40       40.8631             nan     0.1000   -0.3871
##     60       35.7808             nan     0.1000   -0.0406
##     80       32.4567             nan     0.1000   -0.3061
##    100       30.3890             nan     0.1000   -0.5253
##    120       27.7584             nan     0.1000   -0.4260
##    140       26.2207             nan     0.1000   -0.3950
##    150       25.5019             nan     0.1000   -0.3765
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      168.8002             nan     0.1000   16.9174
##      2      154.4440             nan     0.1000   14.3696
##      3      142.6219             nan     0.1000   11.2690
##      4      132.2559             nan     0.1000   10.2201
##      5      124.4145             nan     0.1000    8.0796
##      6      117.6276             nan     0.1000    6.8040
##      7      111.8832             nan     0.1000    5.5437
##      8      106.9223             nan     0.1000    4.0843
##      9      101.9076             nan     0.1000    4.7118
##     10       97.7868             nan     0.1000    4.1452
##     20       70.9719             nan     0.1000    1.2932
##     40       54.1755             nan     0.1000    0.0440
##     60       49.7612             nan     0.1000   -0.0606
##     80       47.4558             nan     0.1000   -0.2530
##    100       46.3259             nan     0.1000   -0.0421
##    120       45.4159             nan     0.1000   -0.2384
##    140       44.5900             nan     0.1000   -0.1033
##    150       44.1320             nan     0.1000   -0.0070
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      164.4321             nan     0.1000   21.6397
##      2      145.2607             nan     0.1000   15.1382
##      3      131.6257             nan     0.1000   12.7284
##      4      118.9634             nan     0.1000   11.9370
##      5      108.9616             nan     0.1000    8.6726
##      6      100.6600             nan     0.1000    5.8379
##      7       94.0585             nan     0.1000    6.1892
##      8       87.9575             nan     0.1000    5.1083
##      9       83.1592             nan     0.1000    4.6075
##     10       79.1143             nan     0.1000    3.8139
##     20       56.1348             nan     0.1000    0.6670
##     40       44.6979             nan     0.1000   -0.2616
##     60       40.9004             nan     0.1000   -0.4478
##     80       38.0567             nan     0.1000   -0.4136
##    100       36.2350             nan     0.1000   -0.5479
##    120       34.4457             nan     0.1000   -0.4829
##    140       33.2062             nan     0.1000   -0.1439
##    150       32.1633             nan     0.1000   -0.1607
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      165.4196             nan     0.1000   22.5379
##      2      147.9535             nan     0.1000   17.4844
##      3      132.4284             nan     0.1000   14.7935
##      4      120.6120             nan     0.1000   12.8193
##      5      109.5897             nan     0.1000   10.8763
##      6      101.4836             nan     0.1000    7.8182
##      7       94.3061             nan     0.1000    7.0046
##      8       88.0581             nan     0.1000    5.4233
##      9       82.1131             nan     0.1000    4.6702
##     10       77.4541             nan     0.1000    4.0760
##     20       52.4076             nan     0.1000    0.8420
##     40       39.7589             nan     0.1000   -0.0103
##     60       34.5615             nan     0.1000   -0.1681
##     80       32.4750             nan     0.1000   -0.3019
##    100       29.7591             nan     0.1000   -0.0572
##    120       27.7536             nan     0.1000   -0.2246
##    140       25.5490             nan     0.1000   -0.2713
##    150       24.6674             nan     0.1000   -0.2590
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      171.1706             nan     0.1000   17.1531
##      2      156.4758             nan     0.1000   14.7387
##      3      144.6364             nan     0.1000   11.3389
##      4      133.5611             nan     0.1000    9.9381
##      5      125.4914             nan     0.1000    8.0600
##      6      118.2272             nan     0.1000    6.4824
##      7      113.5435             nan     0.1000    3.6940
##      8      106.9936             nan     0.1000    5.3086
##      9      101.6388             nan     0.1000    4.6291
##     10       97.8501             nan     0.1000    3.0974
##     20       71.2965             nan     0.1000    0.8962
##     40       56.8181             nan     0.1000    0.0848
##     60       52.2662             nan     0.1000   -0.3650
##     80       50.1754             nan     0.1000   -0.0198
##    100       48.9558             nan     0.1000   -0.1936
##    120       47.8273             nan     0.1000   -0.2848
##    140       47.0359             nan     0.1000   -0.1104
##    150       46.7920             nan     0.1000   -0.1218
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      167.3866             nan     0.1000   20.5158
##      2      150.6493             nan     0.1000   16.6662
##      3      136.8325             nan     0.1000   12.7166
##      4      124.2112             nan     0.1000   10.8378
##      5      114.3648             nan     0.1000    8.4513
##      6      106.2844             nan     0.1000    7.9004
##      7      100.6756             nan     0.1000    6.6311
##      8       94.5407             nan     0.1000    5.1116
##      9       90.1160             nan     0.1000    3.7210
##     10       85.5194             nan     0.1000    3.4168
##     20       60.5276             nan     0.1000    0.9209
##     40       47.8202             nan     0.1000    0.0284
##     60       44.0264             nan     0.1000   -0.0721
##     80       41.0719             nan     0.1000   -0.2490
##    100       38.7374             nan     0.1000   -0.0256
##    120       36.6331             nan     0.1000   -0.0250
##    140       34.8445             nan     0.1000   -0.4582
##    150       34.3729             nan     0.1000   -0.4181
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      165.0866             nan     0.1000   17.9044
##      2      146.8015             nan     0.1000   17.7961
##      3      131.8053             nan     0.1000   14.9151
##      4      119.6639             nan     0.1000   10.4048
##      5      107.2285             nan     0.1000    9.9846
##      6       98.8832             nan     0.1000    7.6352
##      7       91.7558             nan     0.1000    6.6568
##      8       85.6731             nan     0.1000    6.0397
##      9       79.8722             nan     0.1000    4.8847
##     10       75.6177             nan     0.1000    3.3106
##     20       53.5414             nan     0.1000    0.2282
##     40       41.4640             nan     0.1000   -0.1807
##     60       37.0069             nan     0.1000   -0.2319
##     80       34.0340             nan     0.1000   -0.4525
##    100       31.4501             nan     0.1000   -0.2050
##    120       29.2608             nan     0.1000   -0.4614
##    140       26.5692             nan     0.1000   -0.2272
##    150       25.6054             nan     0.1000   -0.1772
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      169.3752             nan     0.1000   16.4076
##      2      154.9158             nan     0.1000   13.7564
##      3      143.1868             nan     0.1000   10.9350
##      4      133.2667             nan     0.1000    9.3680
##      5      125.1457             nan     0.1000    7.6466
##      6      117.6304             nan     0.1000    5.9643
##      7      111.5822             nan     0.1000    4.8704
##      8      107.1329             nan     0.1000    2.5926
##      9      101.6172             nan     0.1000    3.8907
##     10       97.2384             nan     0.1000    3.8498
##     20       72.2047             nan     0.1000    1.0547
##     40       57.2133             nan     0.1000    0.1491
##     60       52.5523             nan     0.1000    0.0276
##     80       51.0113             nan     0.1000   -0.1432
##    100       49.7349             nan     0.1000   -0.3741
##    120       48.4030             nan     0.1000   -0.3409
##    140       47.5043             nan     0.1000   -0.0762
##    150       47.1767             nan     0.1000   -0.1320
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      166.9321             nan     0.1000   21.5719
##      2      150.3929             nan     0.1000   14.7835
##      3      135.9432             nan     0.1000   14.0908
##      4      122.3739             nan     0.1000   11.0885
##      5      113.0816             nan     0.1000    8.7557
##      6      105.7112             nan     0.1000    5.4046
##      7       99.8805             nan     0.1000    6.9015
##      8       93.1817             nan     0.1000    5.3808
##      9       88.3639             nan     0.1000    3.4955
##     10       83.7640             nan     0.1000    4.1836
##     20       60.9975             nan     0.1000    0.7517
##     40       47.7651             nan     0.1000   -0.0358
##     60       44.1102             nan     0.1000   -0.2734
##     80       41.2676             nan     0.1000   -0.5332
##    100       38.6627             nan     0.1000   -0.1740
##    120       36.2150             nan     0.1000   -0.2854
##    140       34.6654             nan     0.1000   -0.2070
##    150       33.6362             nan     0.1000   -0.2339
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      165.3552             nan     0.1000   19.9248
##      2      148.3708             nan     0.1000   17.3454
##      3      134.4634             nan     0.1000   14.9408
##      4      121.1206             nan     0.1000   12.1860
##      5      111.4964             nan     0.1000    8.9467
##      6      101.2626             nan     0.1000    7.4080
##      7       94.3288             nan     0.1000    4.5606
##      8       89.1291             nan     0.1000    5.0816
##      9       83.3954             nan     0.1000    4.7352
##     10       78.8226             nan     0.1000    4.1561
##     20       54.2413             nan     0.1000    0.3416
##     40       41.9799             nan     0.1000   -0.0577
##     60       38.2594             nan     0.1000   -0.1224
##     80       34.5445             nan     0.1000   -0.7653
##    100       31.5812             nan     0.1000   -0.0968
##    120       29.3717             nan     0.1000   -0.1891
##    140       27.1673             nan     0.1000   -0.1324
##    150       26.0272             nan     0.1000   -0.3460
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      170.9177             nan     0.1000   16.8869
##      2      156.9875             nan     0.1000   14.0696
##      3      143.9107             nan     0.1000   12.1516
##      4      132.9594             nan     0.1000    9.1748
##      5      124.6477             nan     0.1000    8.0594
##      6      117.9830             nan     0.1000    6.0959
##      7      113.1749             nan     0.1000    4.6520
##      8      107.5341             nan     0.1000    3.9287
##      9      103.0048             nan     0.1000    3.1452
##     10       98.3328             nan     0.1000    4.2842
##     20       71.9529             nan     0.1000    1.6781
##     40       56.0404             nan     0.1000    0.1294
##     60       52.0587             nan     0.1000   -0.3115
##     80       49.8762             nan     0.1000   -0.1423
##    100       48.5088             nan     0.1000   -0.4761
##    120       47.6087             nan     0.1000   -0.0186
##    140       46.8893             nan     0.1000   -0.4221
##    150       46.7785             nan     0.1000   -0.7691
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      167.8124             nan     0.1000   19.7369
##      2      149.1097             nan     0.1000   16.3346
##      3      134.0827             nan     0.1000   12.1737
##      4      121.5057             nan     0.1000   11.3728
##      5      111.9303             nan     0.1000    8.9220
##      6      104.7882             nan     0.1000    6.8032
##      7       97.0336             nan     0.1000    6.9775
##      8       91.5785             nan     0.1000    5.4255
##      9       86.4841             nan     0.1000    4.5466
##     10       82.5916             nan     0.1000    3.4460
##     20       59.4549             nan     0.1000    1.1843
##     40       46.8370             nan     0.1000   -0.0243
##     60       42.9073             nan     0.1000   -0.3789
##     80       40.4836             nan     0.1000   -0.2616
##    100       37.7603             nan     0.1000   -0.2351
##    120       35.9249             nan     0.1000   -0.2223
##    140       34.1859             nan     0.1000   -0.0861
##    150       33.7001             nan     0.1000   -0.4721
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      164.5787             nan     0.1000   20.2633
##      2      147.4816             nan     0.1000   17.0395
##      3      131.3789             nan     0.1000   15.0461
##      4      119.0445             nan     0.1000   11.9276
##      5      109.5963             nan     0.1000   10.1085
##      6      100.5837             nan     0.1000    7.3385
##      7       93.0968             nan     0.1000    6.8083
##      8       87.0319             nan     0.1000    6.2570
##      9       81.1987             nan     0.1000    4.8064
##     10       77.7114             nan     0.1000    3.1661
##     20       55.2538             nan     0.1000    0.4071
##     40       44.0089             nan     0.1000   -0.2097
##     60       39.4784             nan     0.1000   -0.3265
##     80       36.4175             nan     0.1000   -0.0827
##    100       33.7875             nan     0.1000   -0.6516
##    120       31.4336             nan     0.1000   -0.3328
##    140       29.0642             nan     0.1000   -0.1349
##    150       27.8140             nan     0.1000   -0.3225
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      171.1363             nan     0.1000   18.6075
##      2      155.8581             nan     0.1000   12.8811
##      3      143.6015             nan     0.1000   10.7288
##      4      133.2579             nan     0.1000    9.7729
##      5      125.1001             nan     0.1000    8.0761
##      6      118.0585             nan     0.1000    7.0161
##      7      112.6121             nan     0.1000    5.0126
##      8      107.8622             nan     0.1000    4.3741
##      9      102.6030             nan     0.1000    4.2486
##     10       97.7316             nan     0.1000    4.2522
##     20       72.1464             nan     0.1000    1.0013
##     40       55.8522             nan     0.1000   -0.0166
##     60       51.3656             nan     0.1000    0.1128
##     80       49.6713             nan     0.1000   -0.3659
##    100       48.5941             nan     0.1000   -0.2850
##    120       47.7105             nan     0.1000    0.0127
##    140       46.9424             nan     0.1000   -0.0747
##    150       46.3949             nan     0.1000   -0.1034
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      168.9378             nan     0.1000   21.1917
##      2      150.0248             nan     0.1000   16.5693
##      3      135.1986             nan     0.1000   13.3635
##      4      123.6213             nan     0.1000   10.3965
##      5      113.9502             nan     0.1000   10.1362
##      6      106.5508             nan     0.1000    6.4583
##      7       99.6860             nan     0.1000    6.0382
##      8       93.8751             nan     0.1000    5.7687
##      9       89.5020             nan     0.1000    3.9073
##     10       84.9488             nan     0.1000    3.8914
##     20       60.5196             nan     0.1000    1.4129
##     40       47.7472             nan     0.1000   -0.1392
##     60       43.2849             nan     0.1000   -0.3386
##     80       41.0536             nan     0.1000   -0.0989
##    100       38.9136             nan     0.1000   -0.4670
##    120       36.8963             nan     0.1000   -0.4348
##    140       35.4403             nan     0.1000   -0.0910
##    150       34.8776             nan     0.1000   -0.0434
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      168.9722             nan     0.1000   21.3962
##      2      148.9173             nan     0.1000   19.0159
##      3      131.6894             nan     0.1000   14.5093
##      4      118.7785             nan     0.1000   11.5302
##      5      109.7386             nan     0.1000    9.4082
##      6      101.1138             nan     0.1000    8.3190
##      7       93.7048             nan     0.1000    6.5325
##      8       86.2843             nan     0.1000    5.8936
##      9       80.4773             nan     0.1000    4.6784
##     10       75.3421             nan     0.1000    4.5222
##     20       53.2603             nan     0.1000    0.8303
##     40       42.6766             nan     0.1000   -0.3184
##     60       38.0064             nan     0.1000   -0.2979
##     80       34.1620             nan     0.1000   -0.3261
##    100       31.8557             nan     0.1000   -0.2716
##    120       29.4872             nan     0.1000   -0.2508
##    140       28.1190             nan     0.1000   -0.4006
##    150       27.3109             nan     0.1000   -0.3323
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      170.1293             nan     0.1000   16.6557
##      2      157.1316             nan     0.1000   13.9687
##      3      146.3126             nan     0.1000   10.0660
##      4      136.5392             nan     0.1000    9.8456
##      5      128.1397             nan     0.1000    8.9259
##      6      120.1740             nan     0.1000    6.5027
##      7      113.5460             nan     0.1000    5.4352
##      8      108.2255             nan     0.1000    5.0430
##      9      103.1937             nan     0.1000    4.5861
##     10       99.2095             nan     0.1000    3.1390
##     20       71.8115             nan     0.1000    1.2581
##     40       55.8000             nan     0.1000    0.2277
##     60       51.5799             nan     0.1000    0.0953
##     80       49.5761             nan     0.1000   -0.1473
##    100       48.2507             nan     0.1000   -0.1237
##    120       47.3087             nan     0.1000   -0.2370
##    140       46.5323             nan     0.1000   -0.0389
##    150       46.2339             nan     0.1000   -0.1756
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      166.6413             nan     0.1000   20.7587
##      2      149.8205             nan     0.1000   16.8279
##      3      136.9994             nan     0.1000   12.4407
##      4      123.9831             nan     0.1000   12.0840
##      5      114.7265             nan     0.1000    6.8278
##      6      106.3722             nan     0.1000    8.0518
##      7       98.2741             nan     0.1000    6.5900
##      8       92.6615             nan     0.1000    5.0724
##      9       86.7387             nan     0.1000    4.9327
##     10       83.0937             nan     0.1000    2.8613
##     20       59.3575             nan     0.1000    0.3411
##     40       46.9955             nan     0.1000    0.1132
##     60       43.2533             nan     0.1000   -0.3577
##     80       41.0142             nan     0.1000   -0.3350
##    100       39.0739             nan     0.1000    0.0765
##    120       36.8763             nan     0.1000   -0.3846
##    140       35.2681             nan     0.1000   -0.1863
##    150       34.6306             nan     0.1000   -0.0686
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      167.1262             nan     0.1000   23.3592
##      2      148.6071             nan     0.1000   17.3109
##      3      132.3433             nan     0.1000   15.2629
##      4      118.9380             nan     0.1000   12.2090
##      5      108.9065             nan     0.1000   10.1035
##      6      100.5582             nan     0.1000    8.2240
##      7       93.6528             nan     0.1000    6.3663
##      8       88.1693             nan     0.1000    5.2312
##      9       82.0285             nan     0.1000    5.1783
##     10       77.7500             nan     0.1000    3.8152
##     20       54.9330             nan     0.1000    0.2868
##     40       42.7672             nan     0.1000   -0.3657
##     60       38.3155             nan     0.1000   -0.2616
##     80       34.6166             nan     0.1000   -0.2329
##    100       31.8455             nan     0.1000   -0.4770
##    120       29.4907             nan     0.1000   -0.5139
##    140       27.6602             nan     0.1000   -0.3701
##    150       26.9307             nan     0.1000   -0.1490
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      156.1961             nan     0.1000   15.7520
##      2      142.1128             nan     0.1000   13.7217
##      3      130.9466             nan     0.1000   10.6672
##      4      121.4504             nan     0.1000    9.1057
##      5      111.7600             nan     0.1000    8.4998
##      6      105.3775             nan     0.1000    7.6526
##      7       99.4200             nan     0.1000    4.7863
##      8       94.2929             nan     0.1000    4.7090
##      9       91.0120             nan     0.1000    3.5268
##     10       86.3655             nan     0.1000    4.0748
##     20       60.6046             nan     0.1000    1.4270
##     40       43.7254             nan     0.1000    0.1345
##     60       38.7209             nan     0.1000   -0.1941
##     80       36.7823             nan     0.1000   -0.0049
##    100       35.3445             nan     0.1000   -0.1144
##    120       34.3091             nan     0.1000   -0.4027
##    140       33.5274             nan     0.1000   -0.1004
##    150       33.0331             nan     0.1000   -0.0685
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      154.6855             nan     0.1000   19.8045
##      2      138.6462             nan     0.1000   14.8135
##      3      123.3505             nan     0.1000   12.6929
##      4      112.9273             nan     0.1000   12.0374
##      5      103.0702             nan     0.1000    8.6869
##      6       95.0585             nan     0.1000    7.8610
##      7       88.9414             nan     0.1000    5.4926
##      8       82.0673             nan     0.1000    6.5847
##      9       77.2346             nan     0.1000    4.3470
##     10       73.4158             nan     0.1000    2.9852
##     20       48.5209             nan     0.1000    1.3263
##     40       35.7604             nan     0.1000   -0.4601
##     60       31.3850             nan     0.1000   -0.1675
##     80       29.1557             nan     0.1000   -0.1563
##    100       26.7250             nan     0.1000    0.0603
##    120       25.7699             nan     0.1000   -0.1952
##    140       24.1711             nan     0.1000   -0.2432
##    150       23.7007             nan     0.1000   -0.2626
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      152.5666             nan     0.1000   19.9984
##      2      134.2954             nan     0.1000   16.9935
##      3      120.5301             nan     0.1000   13.1079
##      4      108.5338             nan     0.1000   12.5775
##      5       98.6291             nan     0.1000    8.4689
##      6       89.5962             nan     0.1000    8.8918
##      7       82.3068             nan     0.1000    7.6122
##      8       75.4385             nan     0.1000    4.4228
##      9       70.3829             nan     0.1000    5.4087
##     10       65.0243             nan     0.1000    4.2610
##     20       42.5716             nan     0.1000    0.4562
##     40       31.2326             nan     0.1000   -0.1424
##     60       27.6245             nan     0.1000   -0.1176
##     80       24.7895             nan     0.1000   -0.2102
##    100       22.8393             nan     0.1000   -0.1294
##    120       21.0887             nan     0.1000   -0.1119
##    140       19.8903             nan     0.1000   -0.2247
##    150       19.1728             nan     0.1000   -0.0997
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      173.5046             nan     0.1000   17.4454
##      2      159.6721             nan     0.1000   14.8576
##      3      147.3173             nan     0.1000   12.3780
##      4      137.6121             nan     0.1000    9.8370
##      5      129.5391             nan     0.1000    8.9529
##      6      122.1678             nan     0.1000    7.0921
##      7      115.6072             nan     0.1000    6.0959
##      8      110.0237             nan     0.1000    4.2562
##      9      104.7155             nan     0.1000    4.0496
##     10       99.7180             nan     0.1000    3.9601
##     20       73.5262             nan     0.1000    1.1523
##     40       56.7888             nan     0.1000    0.1881
##     60       51.9408             nan     0.1000   -0.4684
##     80       50.1178             nan     0.1000   -0.1819
##    100       49.0628             nan     0.1000   -0.1240
##    120       47.9434             nan     0.1000   -0.0639
##    140       46.9712             nan     0.1000   -0.3294
##    150       46.6863             nan     0.1000   -0.1082
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      169.2837             nan     0.1000   20.7572
##      2      153.2771             nan     0.1000   16.1059
##      3      138.1562             nan     0.1000   15.5655
##      4      126.7827             nan     0.1000   10.9961
##      5      115.1991             nan     0.1000   10.0881
##      6      107.6650             nan     0.1000    6.4818
##      7      101.1250             nan     0.1000    6.7926
##      8       95.2063             nan     0.1000    5.0479
##      9       90.5937             nan     0.1000    4.5377
##     10       86.1624             nan     0.1000    3.4446
##     20       61.3056             nan     0.1000    1.0559
##     40       47.8125             nan     0.1000   -0.1279
##     60       44.2663             nan     0.1000   -0.2870
##     80       41.2932             nan     0.1000   -0.4474
##    100       38.9140             nan     0.1000   -0.2979
##    120       36.9494             nan     0.1000   -0.2801
##    140       35.3970             nan     0.1000   -0.2654
##    150       34.6386             nan     0.1000   -0.2375
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      168.7969             nan     0.1000   23.7003
##      2      148.7773             nan     0.1000   17.0865
##      3      133.2753             nan     0.1000   14.8660
##      4      121.2401             nan     0.1000   12.8072
##      5      110.7502             nan     0.1000    9.9483
##      6      102.4955             nan     0.1000    8.4609
##      7       94.9245             nan     0.1000    7.1907
##      8       88.3070             nan     0.1000    6.2948
##      9       82.0451             nan     0.1000    5.1521
##     10       77.4184             nan     0.1000    3.5674
##     20       54.7362             nan     0.1000    0.9237
##     40       42.9150             nan     0.1000   -0.1562
##     60       38.7072             nan     0.1000   -0.5943
##     80       34.9498             nan     0.1000   -0.2647
##    100       32.5537             nan     0.1000   -0.3049
##    120       30.1303             nan     0.1000   -0.3484
##    140       28.2939             nan     0.1000   -0.2478
##    150       27.7817             nan     0.1000   -0.1864
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      171.8919             nan     0.1000   16.8816
##      2      158.8725             nan     0.1000   14.6930
##      3      146.2056             nan     0.1000   11.4788
##      4      136.3960             nan     0.1000    9.7704
##      5      128.1631             nan     0.1000    7.5331
##      6      119.7136             nan     0.1000    7.9091
##      7      112.8691             nan     0.1000    6.0037
##      8      107.9276             nan     0.1000    5.3155
##      9      103.6431             nan     0.1000    3.8429
##     10       98.8541             nan     0.1000    3.6057
##     20       71.6811             nan     0.1000    1.5432
##     40       55.4709             nan     0.1000   -0.0101
##     60       50.5592             nan     0.1000    0.0799
##     80       48.6665             nan     0.1000   -0.1472
##    100       47.2958             nan     0.1000   -0.0048
##    120       46.3998             nan     0.1000   -0.2300
##    140       45.2260             nan     0.1000   -0.2064
##    150       44.8636             nan     0.1000   -0.1139
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      169.0300             nan     0.1000   18.8856
##      2      153.4971             nan     0.1000   17.2885
##      3      138.2980             nan     0.1000   15.2665
##      4      126.8882             nan     0.1000   10.8798
##      5      115.3079             nan     0.1000   10.8089
##      6      107.1782             nan     0.1000    7.6304
##      7       99.2904             nan     0.1000    7.7591
##      8       92.2611             nan     0.1000    6.0027
##      9       87.0035             nan     0.1000    4.1352
##     10       81.8386             nan     0.1000    4.2046
##     20       58.9313             nan     0.1000    0.5133
##     40       46.8831             nan     0.1000    0.0387
##     60       44.0018             nan     0.1000   -0.3342
##     80       41.1936             nan     0.1000   -0.1781
##    100       38.3977             nan     0.1000   -0.5160
##    120       36.0664             nan     0.1000   -0.4172
##    140       34.3012             nan     0.1000   -0.3264
##    150       33.6973             nan     0.1000   -0.2997
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      165.8264             nan     0.1000   23.9978
##      2      146.6795             nan     0.1000   19.1151
##      3      131.7676             nan     0.1000   14.8226
##      4      118.9273             nan     0.1000   11.7961
##      5      108.9511             nan     0.1000    9.6465
##      6       99.9982             nan     0.1000    8.3954
##      7       91.4959             nan     0.1000    6.8253
##      8       86.2974             nan     0.1000    5.2637
##      9       81.0501             nan     0.1000    4.3701
##     10       76.0943             nan     0.1000    4.0927
##     20       52.9108             nan     0.1000    0.5416
##     40       41.9774             nan     0.1000    0.1291
##     60       36.8875             nan     0.1000   -0.2071
##     80       33.1746             nan     0.1000   -0.5796
##    100       30.7318             nan     0.1000   -0.4154
##    120       28.6274             nan     0.1000   -0.4175
##    140       26.4037             nan     0.1000   -0.3076
##    150       25.4465             nan     0.1000   -0.4439
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      173.3170             nan     0.1000   18.0180
##      2      159.3654             nan     0.1000   14.3590
##      3      146.4754             nan     0.1000   11.7583
##      4      135.7440             nan     0.1000   10.3774
##      5      126.6587             nan     0.1000    7.5162
##      6      118.8251             nan     0.1000    6.7473
##      7      112.0110             nan     0.1000    6.1473
##      8      106.7351             nan     0.1000    5.3159
##      9      102.2531             nan     0.1000    4.3439
##     10       97.3618             nan     0.1000    3.0647
##     20       71.8819             nan     0.1000    1.4193
##     40       55.4610             nan     0.1000    0.2296
##     60       50.5736             nan     0.1000   -0.1493
##     80       48.8156             nan     0.1000    0.0045
##    100       47.5654             nan     0.1000   -0.1060
##    120       46.6076             nan     0.1000   -0.2412
##    140       45.7880             nan     0.1000   -0.2233
##    150       45.3724             nan     0.1000   -0.2017
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      169.1061             nan     0.1000   21.8560
##      2      152.0333             nan     0.1000   16.3714
##      3      138.9023             nan     0.1000   15.0272
##      4      127.9273             nan     0.1000   12.1402
##      5      117.3569             nan     0.1000    8.9327
##      6      109.5034             nan     0.1000    7.5437
##      7      100.6701             nan     0.1000    8.0462
##      8       94.3124             nan     0.1000    5.8294
##      9       88.7819             nan     0.1000    4.6084
##     10       84.7456             nan     0.1000    2.5369
##     20       59.6614             nan     0.1000    1.1022
##     40       47.4974             nan     0.1000   -0.0691
##     60       42.4401             nan     0.1000   -0.3126
##     80       39.2145             nan     0.1000   -0.1357
##    100       37.0974             nan     0.1000   -0.4068
##    120       35.4506             nan     0.1000   -0.2233
##    140       33.5196             nan     0.1000   -0.1874
##    150       32.8869             nan     0.1000   -0.2084
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      168.2976             nan     0.1000   22.8856
##      2      147.2969             nan     0.1000   17.7161
##      3      131.8028             nan     0.1000   14.9096
##      4      119.2138             nan     0.1000   12.8071
##      5      107.8524             nan     0.1000    9.8025
##      6       99.8192             nan     0.1000    7.0062
##      7       91.0813             nan     0.1000    6.3591
##      8       85.2257             nan     0.1000    4.1739
##      9       79.4450             nan     0.1000    5.3113
##     10       74.5908             nan     0.1000    3.8720
##     20       52.4845             nan     0.1000    0.5950
##     40       41.1360             nan     0.1000   -0.2329
##     60       35.7523             nan     0.1000   -0.1701
##     80       32.9981             nan     0.1000   -0.1771
##    100       30.4321             nan     0.1000   -0.1614
##    120       28.2431             nan     0.1000   -0.4154
##    140       26.1014             nan     0.1000   -0.3305
##    150       25.4706             nan     0.1000   -0.2803
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      164.6659             nan     0.1000   17.6609
##      2      150.6872             nan     0.1000   12.4934
##      3      137.3853             nan     0.1000   12.7912
##      4      128.2726             nan     0.1000    9.4379
##      5      119.4794             nan     0.1000    8.7493
##      6      112.5901             nan     0.1000    6.7919
##      7      107.0383             nan     0.1000    5.5870
##      8      101.3958             nan     0.1000    5.1922
##      9       96.6969             nan     0.1000    3.6687
##     10       92.6616             nan     0.1000    4.3152
##     20       67.0087             nan     0.1000    0.8969
##     40       51.2250             nan     0.1000    0.1583
##     60       46.1880             nan     0.1000   -0.3532
##     80       44.7189             nan     0.1000   -0.4538
##    100       43.4972             nan     0.1000   -0.1938
##    120       42.8503             nan     0.1000   -0.1807
##    140       41.9461             nan     0.1000   -0.0954
##    150       41.6115             nan     0.1000   -0.0100
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      161.7897             nan     0.1000   19.8679
##      2      144.4902             nan     0.1000   15.6236
##      3      130.3091             nan     0.1000   14.5831
##      4      119.1971             nan     0.1000   10.7375
##      5      110.2625             nan     0.1000    9.3302
##      6      102.1181             nan     0.1000    8.6305
##      7       94.7376             nan     0.1000    5.6850
##      8       88.6712             nan     0.1000    4.8720
##      9       83.8445             nan     0.1000    4.6180
##     10       79.0540             nan     0.1000    4.7796
##     20       55.2278             nan     0.1000    1.2835
##     40       43.3442             nan     0.1000   -0.1286
##     60       39.9775             nan     0.1000   -0.1887
##     80       37.6201             nan     0.1000    0.0381
##    100       35.7780             nan     0.1000   -0.4400
##    120       33.7903             nan     0.1000   -0.4367
##    140       31.6781             nan     0.1000   -0.5001
##    150       30.9292             nan     0.1000   -0.1338
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      161.5773             nan     0.1000   21.8627
##      2      143.2653             nan     0.1000   17.4176
##      3      128.2102             nan     0.1000   13.9255
##      4      115.3168             nan     0.1000   12.6537
##      5      105.3225             nan     0.1000   10.5156
##      6       97.0429             nan     0.1000    8.1013
##      7       89.7646             nan     0.1000    6.6614
##      8       84.5830             nan     0.1000    4.4483
##      9       78.4568             nan     0.1000    5.1768
##     10       73.1361             nan     0.1000    2.8069
##     20       49.2572             nan     0.1000    0.7320
##     40       38.2696             nan     0.1000   -0.4539
##     60       34.5725             nan     0.1000   -0.1839
##     80       31.6521             nan     0.1000   -0.3983
##    100       28.8920             nan     0.1000   -0.3947
##    120       26.7053             nan     0.1000   -0.0666
##    140       24.8613             nan     0.1000   -0.0849
##    150       23.9060             nan     0.1000   -0.2089
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      164.5405             nan     0.1000   16.4506
##      2      148.9623             nan     0.1000   13.3352
##      3      137.4145             nan     0.1000   11.2090
##      4      128.8989             nan     0.1000    8.9485
##      5      121.4262             nan     0.1000    7.1438
##      6      114.2886             nan     0.1000    5.6483
##      7      108.8167             nan     0.1000    5.0236
##      8      103.8700             nan     0.1000    5.2704
##      9       99.1844             nan     0.1000    3.6237
##     10       94.9658             nan     0.1000    3.5417
##     20       70.5103             nan     0.1000    1.4231
##     40       53.7516             nan     0.1000   -0.1569
##     60       49.1917             nan     0.1000   -0.0547
##     80       47.0478             nan     0.1000   -0.1628
##    100       45.7148             nan     0.1000   -0.0524
##    120       44.9873             nan     0.1000   -0.2770
##    140       44.1564             nan     0.1000   -0.4816
##    150       43.5864             nan     0.1000   -0.0574
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      162.0427             nan     0.1000   19.8690
##      2      146.8428             nan     0.1000   15.5774
##      3      132.2843             nan     0.1000   13.4678
##      4      120.4617             nan     0.1000   10.9519
##      5      110.2507             nan     0.1000    9.0556
##      6      102.8330             nan     0.1000    6.6022
##      7       95.4886             nan     0.1000    6.1521
##      8       90.3347             nan     0.1000    4.4725
##      9       85.0603             nan     0.1000    4.8792
##     10       80.5581             nan     0.1000    4.3112
##     20       56.6764             nan     0.1000    0.3018
##     40       45.0604             nan     0.1000    0.0816
##     60       40.9828             nan     0.1000   -0.0588
##     80       38.7164             nan     0.1000   -0.1705
##    100       36.3112             nan     0.1000   -0.3015
##    120       34.2956             nan     0.1000   -0.2341
##    140       32.3083             nan     0.1000   -0.0756
##    150       31.7000             nan     0.1000   -0.1984
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      160.2345             nan     0.1000   20.3707
##      2      143.0542             nan     0.1000   17.9846
##      3      128.2892             nan     0.1000   13.9748
##      4      115.9151             nan     0.1000   10.9050
##      5      106.0331             nan     0.1000   10.0982
##      6       96.9822             nan     0.1000    6.4662
##      7       89.2174             nan     0.1000    6.4312
##      8       81.7716             nan     0.1000    6.4479
##      9       77.2969             nan     0.1000    4.5350
##     10       72.5984             nan     0.1000    4.3484
##     20       52.5115             nan     0.1000    0.2905
##     40       41.0989             nan     0.1000   -0.4764
##     60       36.2786             nan     0.1000   -0.5106
##     80       32.8416             nan     0.1000   -0.2945
##    100       30.2367             nan     0.1000   -0.1275
##    120       28.6043             nan     0.1000   -0.6163
##    140       26.6360             nan     0.1000   -0.3270
##    150       25.5480             nan     0.1000   -0.3767
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      169.3605             nan     0.1000   17.6348
##      2      156.3319             nan     0.1000   14.2847
##      3      144.3574             nan     0.1000   11.6908
##      4      132.1343             nan     0.1000   10.5676
##      5      124.4066             nan     0.1000    6.5454
##      6      117.1603             nan     0.1000    6.6987
##      7      111.0597             nan     0.1000    5.5616
##      8      104.3515             nan     0.1000    4.7011
##      9       99.4163             nan     0.1000    4.4654
##     10       95.6412             nan     0.1000    3.2610
##     20       69.4523             nan     0.1000    1.6500
##     40       53.1600             nan     0.1000    0.2205
##     60       48.9576             nan     0.1000   -0.0848
##     80       47.7114             nan     0.1000   -0.1250
##    100       46.6745             nan     0.1000   -0.2024
##    120       45.3902             nan     0.1000   -0.3300
##    140       44.7244             nan     0.1000   -0.3218
##    150       44.1197             nan     0.1000   -0.0695
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      164.7165             nan     0.1000   19.1529
##      2      147.6709             nan     0.1000   17.0646
##      3      134.1980             nan     0.1000   13.4147
##      4      121.6934             nan     0.1000   10.5631
##      5      110.8492             nan     0.1000   10.9686
##      6      101.3667             nan     0.1000    8.9229
##      7       94.9757             nan     0.1000    6.2986
##      8       89.8029             nan     0.1000    4.6309
##      9       84.7508             nan     0.1000    4.3967
##     10       80.6119             nan     0.1000    4.1796
##     20       57.1896             nan     0.1000    1.1385
##     40       45.2661             nan     0.1000   -0.0247
##     60       41.6050             nan     0.1000   -0.2039
##     80       39.1047             nan     0.1000   -0.0323
##    100       36.7901             nan     0.1000   -0.2179
##    120       34.7005             nan     0.1000   -0.4913
##    140       32.8936             nan     0.1000   -0.3936
##    150       32.1088             nan     0.1000   -0.2133
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      163.1474             nan     0.1000   22.0685
##      2      143.4105             nan     0.1000   18.9685
##      3      128.6360             nan     0.1000   14.4058
##      4      117.2213             nan     0.1000   10.6987
##      5      106.9410             nan     0.1000   10.3846
##      6       97.5522             nan     0.1000    8.6237
##      7       90.7076             nan     0.1000    6.0799
##      8       84.2474             nan     0.1000    5.7163
##      9       78.6150             nan     0.1000    4.7160
##     10       73.8478             nan     0.1000    3.6136
##     20       51.5556             nan     0.1000    0.6178
##     40       40.9812             nan     0.1000   -0.4059
##     60       36.8480             nan     0.1000   -0.4360
##     80       34.3135             nan     0.1000   -0.2915
##    100       31.6259             nan     0.1000   -0.3339
##    120       29.1712             nan     0.1000   -0.4620
##    140       27.2306             nan     0.1000   -0.2597
##    150       26.4060             nan     0.1000   -0.1616
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      171.2698             nan     0.1000   17.5938
##      2      155.8985             nan     0.1000   14.4667
##      3      144.4362             nan     0.1000   10.7011
##      4      134.1743             nan     0.1000    9.2779
##      5      127.0423             nan     0.1000    6.1009
##      6      120.2786             nan     0.1000    7.2212
##      7      113.6366             nan     0.1000    6.8051
##      8      108.0804             nan     0.1000    5.3374
##      9      103.6551             nan     0.1000    4.2683
##     10       99.8480             nan     0.1000    3.0220
##     20       71.5797             nan     0.1000    1.5762
##     40       55.0677             nan     0.1000    0.3189
##     60       50.9726             nan     0.1000    0.0393
##     80       48.9243             nan     0.1000   -0.2088
##    100       47.5488             nan     0.1000   -0.2723
##    120       46.6907             nan     0.1000   -0.1791
##    140       45.7772             nan     0.1000   -0.1886
##    150       45.4398             nan     0.1000   -0.2529
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      167.8618             nan     0.1000   21.6421
##      2      151.5229             nan     0.1000   17.0984
##      3      137.9868             nan     0.1000   12.9960
##      4      125.4499             nan     0.1000   10.8114
##      5      113.6198             nan     0.1000   11.2583
##      6      105.3811             nan     0.1000    7.1436
##      7       97.7158             nan     0.1000    6.6000
##      8       92.2951             nan     0.1000    4.8659
##      9       86.7636             nan     0.1000    4.8637
##     10       82.9321             nan     0.1000    3.4368
##     20       59.1892             nan     0.1000    1.0618
##     40       47.4715             nan     0.1000   -0.3796
##     60       43.2427             nan     0.1000   -0.2057
##     80       40.7641             nan     0.1000   -0.1390
##    100       38.2795             nan     0.1000   -0.1629
##    120       36.2047             nan     0.1000   -0.1511
##    140       34.9118             nan     0.1000   -0.3752
##    150       34.2092             nan     0.1000   -0.2440
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      167.4476             nan     0.1000   22.9469
##      2      150.1413             nan     0.1000   17.8905
##      3      134.6781             nan     0.1000   13.0791
##      4      120.6403             nan     0.1000   11.8683
##      5      110.4748             nan     0.1000   10.6849
##      6      101.9252             nan     0.1000    8.2025
##      7       96.2093             nan     0.1000    5.5063
##      8       89.6142             nan     0.1000    6.8801
##      9       84.8275             nan     0.1000    4.0819
##     10       81.0833             nan     0.1000    3.9780
##     20       55.7466             nan     0.1000    0.6159
##     40       44.0153             nan     0.1000   -0.1969
##     60       39.2227             nan     0.1000   -0.2409
##     80       35.8597             nan     0.1000   -0.3015
##    100       33.1117             nan     0.1000   -0.3874
##    120       31.0177             nan     0.1000   -0.3919
##    140       28.4755             nan     0.1000   -0.1017
##    150       27.5352             nan     0.1000   -0.2396
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      170.7443             nan     0.1000   17.4396
##      2      156.6271             nan     0.1000   14.1824
##      3      144.9985             nan     0.1000   12.1101
##      4      134.6996             nan     0.1000    9.7369
##      5      126.0306             nan     0.1000    7.5639
##      6      117.7903             nan     0.1000    6.8850
##      7      111.5159             nan     0.1000    4.6539
##      8      106.4567             nan     0.1000    3.8862
##      9      100.7171             nan     0.1000    4.6734
##     10       96.4569             nan     0.1000    3.6127
##     20       69.3034             nan     0.1000    1.5198
##     40       53.2388             nan     0.1000    0.2848
##     60       48.4891             nan     0.1000   -0.0551
##     80       46.8654             nan     0.1000   -0.1158
##    100       45.7233             nan     0.1000   -0.2393
##    120       44.7316             nan     0.1000   -0.1262
##    140       44.0921             nan     0.1000   -0.1577
##    150       43.4764             nan     0.1000   -0.2174
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      167.7590             nan     0.1000   20.6940
##      2      151.1492             nan     0.1000   14.3968
##      3      136.5140             nan     0.1000   13.8350
##      4      124.2508             nan     0.1000   12.3973
##      5      115.5879             nan     0.1000    7.9179
##      6      107.7974             nan     0.1000    7.4132
##      7       99.9697             nan     0.1000    7.8617
##      8       94.5077             nan     0.1000    4.6763
##      9       88.7278             nan     0.1000    5.4917
##     10       83.9803             nan     0.1000    4.2272
##     20       57.9994             nan     0.1000    1.1375
##     40       44.9088             nan     0.1000   -0.0756
##     60       40.4553             nan     0.1000   -0.1821
##     80       37.0584             nan     0.1000   -0.1009
##    100       34.6745             nan     0.1000   -0.2256
##    120       33.0840             nan     0.1000   -0.1467
##    140       31.5553             nan     0.1000   -0.3694
##    150       30.9087             nan     0.1000   -0.2400
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      164.9943             nan     0.1000   22.5235
##      2      146.8786             nan     0.1000   15.4550
##      3      130.0534             nan     0.1000   14.9802
##      4      116.8963             nan     0.1000   11.8278
##      5      105.6820             nan     0.1000   11.2615
##      6       96.8340             nan     0.1000    7.5123
##      7       90.7833             nan     0.1000    5.6463
##      8       84.4262             nan     0.1000    6.3009
##      9       79.7810             nan     0.1000    4.2604
##     10       74.8837             nan     0.1000    4.0909
##     20       52.0274             nan     0.1000   -0.1129
##     40       40.2198             nan     0.1000   -0.0462
##     60       36.5445             nan     0.1000   -0.2386
##     80       33.1089             nan     0.1000   -0.3997
##    100       30.1550             nan     0.1000   -0.1355
##    120       27.7925             nan     0.1000   -0.2600
##    140       25.6601             nan     0.1000   -0.4475
##    150       24.6274             nan     0.1000   -0.2396
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      167.1781             nan     0.1000   17.2421
##      2      153.4721             nan     0.1000   13.6701
##      3      141.8181             nan     0.1000   10.9217
##      4      133.7907             nan     0.1000    8.3996
##      5      125.7989             nan     0.1000    7.5606
##      6      118.8838             nan     0.1000    5.9212
##      7      113.9586             nan     0.1000    4.9971
##      8      108.7547             nan     0.1000    3.8934
##      9      103.7505             nan     0.1000    4.6162
##     10       99.7063             nan     0.1000    1.8162
##     20       73.3119             nan     0.1000    1.4249
##     40       57.5300             nan     0.1000    0.0384
##     60       52.1284             nan     0.1000   -0.1687
##     80       50.1746             nan     0.1000   -0.3935
##    100       48.8747             nan     0.1000   -0.0397
##    120       47.8509             nan     0.1000   -0.1059
##    140       46.9636             nan     0.1000   -0.0274
##    150       46.6187             nan     0.1000    0.0030
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      164.4322             nan     0.1000   18.8513
##      2      147.9929             nan     0.1000   15.8060
##      3      133.0948             nan     0.1000   13.5288
##      4      121.7719             nan     0.1000   11.0813
##      5      112.5103             nan     0.1000    8.6317
##      6      104.8184             nan     0.1000    6.7884
##      7       97.9725             nan     0.1000    6.7583
##      8       92.7788             nan     0.1000    5.6113
##      9       88.8699             nan     0.1000    3.8225
##     10       84.7936             nan     0.1000    3.8222
##     20       62.1323             nan     0.1000    1.4344
##     40       48.6320             nan     0.1000   -0.4580
##     60       44.0682             nan     0.1000   -0.2782
##     80       41.0158             nan     0.1000   -0.4782
##    100       38.9268             nan     0.1000   -0.3359
##    120       36.7624             nan     0.1000   -0.0280
##    140       34.8109             nan     0.1000   -0.2353
##    150       34.1728             nan     0.1000   -0.2476
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      162.8144             nan     0.1000   19.5583
##      2      146.1838             nan     0.1000   17.1265
##      3      132.9953             nan     0.1000   14.8591
##      4      120.0020             nan     0.1000   12.4205
##      5      109.8350             nan     0.1000    9.0401
##      6      100.8920             nan     0.1000    8.6141
##      7       94.4530             nan     0.1000    5.4407
##      8       88.8559             nan     0.1000    5.4082
##      9       83.2103             nan     0.1000    3.4652
##     10       78.1637             nan     0.1000    4.5678
##     20       54.0520             nan     0.1000    0.8198
##     40       42.2566             nan     0.1000   -0.4439
##     60       38.3440             nan     0.1000   -0.4798
##     80       35.5279             nan     0.1000   -0.3554
##    100       32.7965             nan     0.1000   -0.1059
##    120       30.2052             nan     0.1000   -0.2655
##    140       28.6341             nan     0.1000   -0.3900
##    150       27.9289             nan     0.1000   -0.3519
## 
## Iter   TrainDeviance   ValidDeviance   StepSize   Improve
##      1      166.3467             nan     0.1000   19.4656
##      2      149.6195             nan     0.1000   16.4585
##      3      134.9799             nan     0.1000   14.1275
##      4      123.5119             nan     0.1000   10.6353
##      5      113.8278             nan     0.1000    9.5096
##      6      106.0897             nan     0.1000    6.2661
##      7       97.5067             nan     0.1000    7.5736
##      8       91.2060             nan     0.1000    4.9332
##      9       86.1588             nan     0.1000    5.1755
##     10       82.0544             nan     0.1000    3.5758
##     20       57.8050             nan     0.1000    0.5141
##     40       45.8950             nan     0.1000   -0.0954
##     50       43.4039             nan     0.1000   -0.0767
results=resamples(list(Regression=Model_Reg,knearestneighbour=Model_knn,DecisionTree=Model_tree,Random_forest=Model_Rf,SupportVectorMachine=Model_svm,Gradient_Boost=Model_gbm))
summary(results)
## 
## Call:
## summary.resamples(object = results)
## 
## Models: Regression, knearestneighbour, DecisionTree, Random_forest, SupportVectorMachine, Gradient_Boost 
## Number of resamples: 30 
## 
## MAE 
##                          Min.  1st Qu.   Median     Mean  3rd Qu.     Max. NA's
## Regression           4.366515 5.426220 5.978248 6.146434 6.919461 8.268720    0
## knearestneighbour    3.791400 5.027050 5.562228 5.571169 5.975330 7.284821    0
## DecisionTree         4.291138 5.498230 5.979857 6.129177 6.931890 8.244699    0
## Random_forest        2.827377 3.660501 4.037492 4.307819 4.702297 6.403187    0
## SupportVectorMachine 4.279949 5.568940 6.010684 6.055840 6.516971 8.664380    0
## Gradient_Boost       3.693798 4.213582 4.690187 4.823382 5.175572 6.856610    0
## 
## RMSE 
##                          Min.  1st Qu.   Median     Mean  3rd Qu.     Max. NA's
## Regression           5.300930 6.999334 7.611398 8.538133 9.314262 15.57868    0
## knearestneighbour    4.761871 6.457380 7.229639 7.958637 8.572188 14.48738    0
## DecisionTree         5.963166 7.006301 7.872401 8.645722 9.534367 14.52685    0
## Random_forest        3.566049 5.038287 5.638286 6.550605 6.829236 13.61495    0
## SupportVectorMachine 5.540568 7.390727 8.087863 8.650199 9.028705 14.36954    0
## Gradient_Boost       4.838771 5.514894 6.550228 7.094547 7.389109 14.09835    0
## 
## Rsquared 
##                           Min.   1st Qu.    Median      Mean   3rd Qu.
## Regression           0.2905729 0.5479159 0.6558990 0.6192731 0.7141769
## knearestneighbour    0.3946933 0.6101999 0.7116586 0.6686441 0.7590778
## DecisionTree         0.3727780 0.5235038 0.6397458 0.6083851 0.7162953
## Random_forest        0.3791760 0.7378334 0.7934211 0.7649358 0.8665635
## SupportVectorMachine 0.3505154 0.5664096 0.6461781 0.6067067 0.6905898
## Gradient_Boost       0.4518936 0.6727739 0.7632023 0.7336307 0.8190021
##                           Max. NA's
## Regression           0.8073622    0
## knearestneighbour    0.8158003    0
## DecisionTree         0.7776710    0
## Random_forest        0.9309965    0
## SupportVectorMachine 0.7468184    0
## Gradient_Boost       0.8770005    0

Plot showing appropriate ML model.

bwplot(results)

dotplot(results)

Final Model is Deci Random forest for future Prediction.

library(randomForest)
## randomForest 4.6-14
## Type rfNews() to see new features/changes/bug fixes.
## 
## Attaching package: 'randomForest'
## The following object is masked from 'package:dplyr':
## 
##     combine
## The following object is masked from 'package:ggplot2':
## 
##     margin
Model_F=randomForest(House_price_Area~.,data=training)
Pred=predict(Model_F,testing)
Pred
##        9       16       25       39       48       52       76       81 
## 18.97912 40.33576 38.63647 42.88309 38.63074 22.89304 27.94715 47.24729 
##       93      133      137      144      153      158      160      169 
## 25.68076 38.13494 43.88402 44.71771 26.98984 41.31345 38.89301 33.60629 
##      178      190      194      204      209      215      224      229 
## 50.26846 14.00878 47.39581 47.97372 27.98523 24.80980 41.80284 34.42348 
##      243      262      284      285      293      303      307      313 
## 28.91162 25.40907 31.96496 42.07900 31.82096 26.31529 37.03597 46.12124 
##      349      351      369      374      392      404      409      414 
## 57.26802 38.66388 39.81628 48.56492 25.49005 45.37943 25.78928 58.95783

Metrics of Model

library(e1071)
library(klaR)
## Loading required package: MASS
## 
## Attaching package: 'MASS'
## The following objects are masked from 'package:openintro':
## 
##     housing, mammals
## The following object is masked from 'package:dplyr':
## 
##     select
## The following object is masked from 'package:plotly':
## 
##     select
library(kernlab)
## 
## Attaching package: 'kernlab'
## The following object is masked from 'package:ggplot2':
## 
##     alpha
library(Metrics)
## 
## Attaching package: 'Metrics'
## The following objects are masked from 'package:caret':
## 
##     precision, recall
library(randomForest)
RMSE(testing$House_price_Area,Pred)
## [1] 8.12135
MAE(testing$House_price_Area,Pred)
## [1] 5.518448
mape(testing$House_price_Area,Pred)
## [1] 0.1382478

Important variables impacting on the House price prediction

varImpPlot(Model_F)

varImp(Model_F)
##                                  Overall
## transaction_date                2132.714
## House_age                       9661.163
## Distance_to_NearestMRT_station 21206.488
## Number_convenience_Stores       8711.576
## Latitude                       13232.698
## Longitude                      11319.739

Interpretaion

Distanace to NearestMRT_station ,Number_coniveninence _stores,House_age,latitude are playig vital role in predicting House price per square feet in the Taipei City, Taiwan.As costumer focusing on these parameters in investing on the Real estate in taiwan.

DAta Set LinK: https://archive.ics.uci.edu/ml/datasets/Real+estate+valuation+data+set

### Main objective of the above study

Important variables impacting on the evaluation of House Price.

```