White Wine Quality Classification
MinSoon Lim
1. Introduction
해당 레포트는 화이트 와인의 품질을 예측, 분류분석 하는 프로젝트이며 R Markdown으로 작성했습니다.
데이터는 UCI Machine Learning Repository 에서 취득했으며 아래 첨부한 링크에 들어가시면 다운받으실 수 있습니다.
기간 : 2018년 2월 15일 (수) ~ 2018년 2월 18일 (토)
2. 데이터 설명
관측치 4898개와 12개 변수로 구성 되어있는 데이터 입니다.
화이트 와인의 11가지 화학 성분들을 독립변수로 사용하여 와인의 품질(quality)을 예측하는 것이 목적입니다.
변수에 대한 자세한 설명은 아래와 같습니다.
| 변수명 | 변수 설명 |
|---|---|
| fixed acidity | 비휘발성 산 |
| volatile acidity | 휘발성 산 |
| citric acid | 구연산(시트르산) |
| residual sugar | 잔당 |
| chlorides | 염화물 |
| free sulfur dioxide | 유리 이산화황 |
| total sulfur dioxide | 총 이산화황 |
| density | 밀도 |
| pH | 산도(수소 이온 농도) |
| sulphates | 황산염 |
| alcohol | 알코올 |
| quality | 와인 품질(나쁨 : 0 ~ 좋음 : 10) |
3. GroundWork
3 - 1 - 1. 작업폴더 지정, 데이터 불러들이기
# 기존에 작업하던 데이터 삭제
rm(list=ls())
# 작업폴더 지정 및 확인
setwd("C:/Users/LG/Documents/Study-R/Data")
getwd()## [1] "C:/Users/LG/Documents/Study-R/Data"# 데이터 불러오기
wine <- read.csv("winequality_white.csv",
header = T)3 - 1 - 2. 패키지 장착
# 데이터 전처리 및 확인
library(dplyr)
library(descr)
library(DT)
library(data.table)
# 시각화
library(ggplot2)
library(gridExtra)
library(GGally)
# 기계학습 패키지
library(MASS)
library(rpart)
library(randomForest)
library(gbm)
library(boot)
library(glmnet)
# ROC Curve
library(ROCR)3 - 1 - 3. binomial_deviance & panel.cor 함수 생성
# binomial_deviance : 이항편차
binomial_deviance <- function(y_obs, yhat){
epsilon = 0.0001
yhat = ifelse(yhat < epsilon, epsilon, yhat)
yhat = ifelse(yhat > 1-epsilon, 1-epsilon, yhat)
a = ifelse(y_obs==0, 0, y_obs * log(y_obs/yhat))
b = ifelse(y_obs==1, 0, (1-y_obs) * log((1-y_obs)/(1-yhat)))
return(2*sum(a + b))
}
# panel.cor : 모형들의 예측 확률값의 분포 비교 함수
panel.cor <- function(x, y, digits = 2, prefix = "", cex.cor, ...){
usr <- par("usr"); on.exit(par(usr))
par(usr = c(0, 1, 0, 1))
r <- abs(cor(x, y))
txt <- format(c(r, 0.123456789), digits = digits)[1]
txt <- paste0(prefix, txt)
if(missing(cex.cor)) cex.cor <- 0.8/strwidth(txt)
text(0.5, 0.5, txt, cex = cex.cor * r)
}3- 2. 작업할 데이터 확인
head(wine)## fixed.acidity volatile.acidity citric.acid residual.sugar chlorides
## 1 7.0 0.27 0.36 20.7 0.045
## 2 6.3 0.30 0.34 1.6 0.049
## 3 8.1 0.28 0.40 6.9 0.050
## 4 7.2 0.23 0.32 8.5 0.058
## 5 7.2 0.23 0.32 8.5 0.058
## 6 8.1 0.28 0.40 6.9 0.050
## free.sulfur.dioxide total.sulfur.dioxide density pH sulphates alcohol
## 1 45 170 1.0010 3.00 0.45 8.8
## 2 14 132 0.9940 3.30 0.49 9.5
## 3 30 97 0.9951 3.26 0.44 10.1
## 4 47 186 0.9956 3.19 0.40 9.9
## 5 47 186 0.9956 3.19 0.40 9.9
## 6 30 97 0.9951 3.26 0.44 10.1
## quality
## 1 6
## 2 6
## 3 6
## 4 6
## 5 6
## 6 6dplyr::glimpse(wine)## Observations: 4,898
## Variables: 12
## $ fixed.acidity <dbl> 7.0, 6.3, 8.1, 7.2, 7.2, 8.1, 6.2, 7.0, 6...
## $ volatile.acidity <dbl> 0.27, 0.30, 0.28, 0.23, 0.23, 0.28, 0.32,...
## $ citric.acid <dbl> 0.36, 0.34, 0.40, 0.32, 0.32, 0.40, 0.16,...
## $ residual.sugar <dbl> 20.70, 1.60, 6.90, 8.50, 8.50, 6.90, 7.00...
## $ chlorides <dbl> 0.045, 0.049, 0.050, 0.058, 0.058, 0.050,...
## $ free.sulfur.dioxide <dbl> 45, 14, 30, 47, 47, 30, 30, 45, 14, 28, 1...
## $ total.sulfur.dioxide <dbl> 170, 132, 97, 186, 186, 97, 136, 170, 132...
## $ density <dbl> 1.0010, 0.9940, 0.9951, 0.9956, 0.9956, 0...
## $ pH <dbl> 3.00, 3.30, 3.26, 3.19, 3.19, 3.26, 3.18,...
## $ sulphates <dbl> 0.45, 0.49, 0.44, 0.40, 0.40, 0.44, 0.47,...
## $ alcohol <dbl> 8.8, 9.5, 10.1, 9.9, 9.9, 10.1, 9.6, 8.8,...
## $ quality <int> 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 5, 5, 5, 7,...DT::datatable(wine)summary(wine)## fixed.acidity volatile.acidity citric.acid residual.sugar
## Min. : 3.800 Min. :0.0800 Min. :0.0000 Min. : 0.600
## 1st Qu.: 6.300 1st Qu.:0.2100 1st Qu.:0.2700 1st Qu.: 1.700
## Median : 6.800 Median :0.2600 Median :0.3200 Median : 5.200
## Mean : 6.855 Mean :0.2782 Mean :0.3342 Mean : 6.391
## 3rd Qu.: 7.300 3rd Qu.:0.3200 3rd Qu.:0.3900 3rd Qu.: 9.900
## Max. :14.200 Max. :1.1000 Max. :1.6600 Max. :65.800
## chlorides free.sulfur.dioxide total.sulfur.dioxide
## Min. :0.00900 Min. : 2.00 Min. : 9.0
## 1st Qu.:0.03600 1st Qu.: 23.00 1st Qu.:108.0
## Median :0.04300 Median : 34.00 Median :134.0
## Mean :0.04577 Mean : 35.31 Mean :138.4
## 3rd Qu.:0.05000 3rd Qu.: 46.00 3rd Qu.:167.0
## Max. :0.34600 Max. :289.00 Max. :440.0
## density pH sulphates alcohol
## Min. :0.9871 Min. :2.720 Min. :0.2200 Min. : 8.00
## 1st Qu.:0.9917 1st Qu.:3.090 1st Qu.:0.4100 1st Qu.: 9.50
## Median :0.9937 Median :3.180 Median :0.4700 Median :10.40
## Mean :0.9940 Mean :3.188 Mean :0.4898 Mean :10.51
## 3rd Qu.:0.9961 3rd Qu.:3.280 3rd Qu.:0.5500 3rd Qu.:11.40
## Max. :1.0390 Max. :3.820 Max. :1.0800 Max. :14.20
## quality
## Min. :3.000
## 1st Qu.:5.000
## Median :6.000
## Mean :5.878
## 3rd Qu.:6.000
## Max. :9.0004. 탐색적 데이터 분석 : EDA
4 - 1. pair-wise scatter plot & Correlation
wine 데이터의 모든 변수들이 양적 자료이기 때문에 먼저 산점도를 이용하여 각 변수들의 분포와 상관성을 확인해본다.
pairs(wine,
lower.panel = function(x,y){ points(x,y); abline(0, 1, col='red')},
upper.panel = panel.cor)
11개 변수들 중 와인의 품질(quality)와 가장 연관이 높은 것은 알코올 (alcohol)임을 알 수 있다.
4 - 2. 그 외에 다양한 시각화
p1 <- wine %>%
ggplot(aes(quality)) +
geom_bar() +
ggtitle("와인 품질 막대 그래프")
p2 <- wine %>%
ggplot(aes(alcohol, factor(quality))) +
geom_jitter(col = "gray") +
geom_boxplot(alpha = .5) +
ggtitle("품질별 알코올 상자 그래프")
p3 <- wine %>%
ggplot(aes(alcohol, density)) +
geom_point(alpha=.1) +
geom_smooth() +
ggtitle("알코올, 밀도 산점도 & 추세선")
p4 <- wine %>%
ggplot(aes(factor(quality), density)) +
geom_jitter(color = "gray") +
geom_boxplot(alpha = .5) +
ggtitle("품질별 밀도 상자 그래프")
grid.arrange(p1, p2, p3, p4, ncol=2)
1. 품질이 0부터 6까지가 가장 많고 7부터 10까지는 별로 없음을 알 수 있다.
2. 위에서 산점도를 통해 봤을 때는 알코올과 품질이 어느 정도 연관성이 있으며, 두 변수는 비선형 관계임을 알 수 있다.
3. 산점도와 추세선을 봤을 때 알코올과 밀도는 음의 상관관계가 있다.
4. 품질별 밀도 상자그림을 보면 와인의 품질이 좋을수록 평균 밀도가 낮음을 알 수 있다.
5. 데이터 전처리
다시 언급하지만 이번 분석은 와인의 품질(quality)을 0과 10 사이의 수로 예측하는 회귀분석이 아닌, 품질의 좋고 나쁨을 구별하는 이항 분류분석입니다. 따라서 품질을 기존 integer 변수에서 7 이상이면 좋음(Good), 그 외에는 나쁨(Bad)인 factor 변수로 변환했습니다.
wine <- wine %>%
mutate(quality = factor(ifelse(quality >= 7, "Good", "Bad")))6. 전처리 후 탐색적 데이터 분석
sp1 <- wine %>%
ggplot(aes(quality)) +
geom_bar() +
ggtitle("품질 분포 막대 그래프")
sp2 <- wine %>%
ggplot(aes(alcohol, fill = quality)) +
geom_density(alpha = .5) +
ggtitle("알코올, 품질 밀도 그래프")
sp3 <- wine %>%
ggplot(aes(alcohol, density, col = quality)) +
geom_point() +
ggtitle("알코올, 밀도 산점도")
sp4 <- wine %>%
ggplot(aes(residual.sugar, fill = quality)) +
geom_density(alpha = .5) +
xlim(0, 25) +
ggtitle("잔당, 밀도에 대한 밀도 그래프")
grid.arrange(sp1, sp2, sp3, sp4, ncol = 2)
시각화를 통해 다음 사실들을 알 수 있다.
1. 품질이 나쁜 게 좋은 것보다 많음을 알 수 있다.
2. 품질이 안 좋은 와인이 좋은 품질의 와인보다 알콜 농도가 낮은 것과 두 변수는 비선형 관계임을 알 수 있다.
3. 품질에 상관 없이 알코올과 밀도는 음의 상관관계 이다.
4. 품질에 따른 잔당은 큰 차이가 없다. 즉, 잔당이 품질에 큰 영향력을 주지는 못 한다.
7. Data Set Split
기계학습 모델 생성에 앞서 Training : Validation : Test 데이터를 각각 60 : 20 : 20 비율로 분할합니다.
set.seed(1802)
n <- nrow(wine)
idx <- 1:n
training.idx <- sample(idx, n * .60)
idx <- setdiff(idx, training.idx)
validation.idx <- sample(idx, n * .20)
test.idx <- setdiff(idx, validation.idx)
training <- wine[training.idx,]
validation <- wine[validation.idx,]
test <- wine[test.idx,]8. 모델 생성
이번 분석에 사용한 모델은 총 3개로 그 종류와 순서는 다음과 같습니다.
- Logistic regression
- Random Forest
- gbm
8 - 1. 로지스틱 회귀 분석 모델
8 - 1 - 1. 로지스틱 회귀 분석 모형 생성
set.seed(1802)
wine.glm <- glm(quality ~ . ,
data = training,
family = "binomial")모형을 생성함에 있어서 유의한 변수들에는 어떤 것들이 있는지와 특히 유의한 변수들은 무엇이 있는지 확인 해보는 과정입니다.
summary(wine.glm)##
## Call:
## glm(formula = quality ~ ., family = "binomial", data = training)
##
## Deviance Residuals:
## Min 1Q Median 3Q Max
## -1.9780 -0.6483 -0.4055 -0.1749 2.8078
##
## Coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) 5.206e+02 1.209e+02 4.305 1.67e-05 ***
## fixed.acidity 4.982e-01 1.163e-01 4.282 1.85e-05 ***
## volatile.acidity -3.796e+00 6.528e-01 -5.815 6.08e-09 ***
## citric.acid -6.865e-01 5.375e-01 -1.277 0.201467
## residual.sugar 2.666e-01 4.585e-02 5.815 6.07e-09 ***
## chlorides -1.794e+01 5.169e+00 -3.471 0.000519 ***
## free.sulfur.dioxide 7.905e-03 4.082e-03 1.937 0.052804 .
## total.sulfur.dioxide -1.010e-03 2.016e-03 -0.501 0.616407
## density -5.434e+02 1.225e+02 -4.435 9.20e-06 ***
## pH 3.280e+00 5.464e-01 6.003 1.94e-09 ***
## sulphates 2.343e+00 4.637e-01 5.054 4.33e-07 ***
## alcohol 2.791e-01 1.472e-01 1.895 0.058047 .
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## (Dispersion parameter for binomial family taken to be 1)
##
## Null deviance: 2993.4 on 2937 degrees of freedom
## Residual deviance: 2408.8 on 2926 degrees of freedom
## AIC: 2432.8
##
## Number of Fisher Scoring iterations: 6summary.glm(wine.glm)##
## Call:
## glm(formula = quality ~ ., family = "binomial", data = training)
##
## Deviance Residuals:
## Min 1Q Median 3Q Max
## -1.9780 -0.6483 -0.4055 -0.1749 2.8078
##
## Coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) 5.206e+02 1.209e+02 4.305 1.67e-05 ***
## fixed.acidity 4.982e-01 1.163e-01 4.282 1.85e-05 ***
## volatile.acidity -3.796e+00 6.528e-01 -5.815 6.08e-09 ***
## citric.acid -6.865e-01 5.375e-01 -1.277 0.201467
## residual.sugar 2.666e-01 4.585e-02 5.815 6.07e-09 ***
## chlorides -1.794e+01 5.169e+00 -3.471 0.000519 ***
## free.sulfur.dioxide 7.905e-03 4.082e-03 1.937 0.052804 .
## total.sulfur.dioxide -1.010e-03 2.016e-03 -0.501 0.616407
## density -5.434e+02 1.225e+02 -4.435 9.20e-06 ***
## pH 3.280e+00 5.464e-01 6.003 1.94e-09 ***
## sulphates 2.343e+00 4.637e-01 5.054 4.33e-07 ***
## alcohol 2.791e-01 1.472e-01 1.895 0.058047 .
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## (Dispersion parameter for binomial family taken to be 1)
##
## Null deviance: 2993.4 on 2937 degrees of freedom
## Residual deviance: 2408.8 on 2926 degrees of freedom
## AIC: 2432.8
##
## Number of Fisher Scoring iterations: 68 - 1 - 2. 로지스틱 모형 검증
# 반응변수 추출 : 검증셋(Validation Set)을 이용한다.
y_obs <- ifelse(validation$quality == "Good", 1, 0)
yhat_glm <- predict(wine.glm, newdata = validation, type = "response")
# 이항편차
binomial_deviance(y_obs, yhat_glm)## [1] 881.1437ROC Curve
# ROC Curve
pred_glm <- prediction(yhat_glm, y_obs)
perf_glm <- performance(pred_glm,
measure = "tpr",
x.measure = "fpr")
plot(perf_glm,
col='black',
main="ROC Curve of glm")
abline(0,1)
AUC Value
performance(pred_glm, "auc")@y.values[[1]]## [1] 0.77948968 - 2. Random Forest
8 - 2 - 1. Random Forest 모형 생성
set.seed(1802)
wine.rf <- randomForest(quality ~ . , training)랜덤 포레스트 모델에서의 변수 중요도(변수 설명력이 높은 정도)를 확인해보겠습니다.
# 통계 수치로 확인
importance(wine.rf)## MeanDecreaseGini
## fixed.acidity 64.65944
## volatile.acidity 82.10668
## citric.acid 63.09592
## residual.sugar 87.95538
## chlorides 84.90909
## free.sulfur.dioxide 76.30347
## total.sulfur.dioxide 79.82959
## density 116.49629
## pH 82.19389
## sulphates 75.11756
## alcohol 150.29840# 시각적으로 확인
varImpPlot(wine.rf)
8 - 2 - 2. Random Forest 모형 검증
yhat_rf <- predict(wine.rf,
newdata = validation,
type = "prob")[, 'Good']
# 이항편차
binomial_deviance(y_obs, yhat_glm) # GLM## [1] 881.1437binomial_deviance(y_obs, yhat_rf) # Random Forest## [1] 594.6692ROC Curve
pred_rf <- prediction(yhat_rf, y_obs)
perf_rf <- performance(pred_rf, measure = "tpr",
x.measure = "fpr")
plot(perf_glm,
col="black",
main="ROC Curve")
abline(0, 1)
plot(perf_rf,
col = "green",
add = T)
legend("bottomright",
inset = .1,
legend = c("GLM", "Random Forest"),
col = c("black", "green"),
lty = 1, lwd = 2)
AUC Value
performance(pred_glm, "auc")@y.values[[1]] # GLM## [1] 0.7794896performance(pred_rf, "auc")@y.values[[1]] # Random Forest## [1] 0.91590418 - 3. Boost
8 - 3 - 1. Boost 모델 생성
set.seed(1802)
wine.gbm <- training %>%
mutate(quality = ifelse(quality == "Good", 1, 0))
wine.gbm <- gbm(quality ~ . ,
data = wine.gbm,
distribution = "bernoulli",
n.trees = 30000, cv.folds = 3,
verbose = T)## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0186 nan 0.0010 0.0001
## 2 1.0183 nan 0.0010 0.0001
## 3 1.0180 nan 0.0010 0.0001
## 4 1.0177 nan 0.0010 0.0001
## 5 1.0175 nan 0.0010 0.0001
## 6 1.0172 nan 0.0010 0.0001
## 7 1.0169 nan 0.0010 0.0001
## 8 1.0167 nan 0.0010 0.0001
## 9 1.0164 nan 0.0010 0.0001
## 10 1.0161 nan 0.0010 0.0001
## 20 1.0136 nan 0.0010 0.0001
## 40 1.0088 nan 0.0010 0.0001
## 60 1.0040 nan 0.0010 0.0001
## 80 0.9994 nan 0.0010 0.0001
## 100 0.9952 nan 0.0010 0.0001
## 120 0.9911 nan 0.0010 0.0001
## 140 0.9869 nan 0.0010 0.0001
## 160 0.9831 nan 0.0010 0.0001
## 180 0.9793 nan 0.0010 0.0001
## 200 0.9757 nan 0.0010 0.0001
## 220 0.9723 nan 0.0010 0.0001
## 240 0.9690 nan 0.0010 0.0001
## 260 0.9657 nan 0.0010 0.0001
## 280 0.9627 nan 0.0010 0.0001
## 300 0.9598 nan 0.0010 0.0001
## 320 0.9569 nan 0.0010 0.0001
## 340 0.9542 nan 0.0010 0.0001
## 360 0.9516 nan 0.0010 0.0001
## 380 0.9491 nan 0.0010 0.0001
## 400 0.9467 nan 0.0010 0.0001
## 420 0.9442 nan 0.0010 0.0001
## 440 0.9417 nan 0.0010 0.0000
## 460 0.9394 nan 0.0010 0.0001
## 480 0.9372 nan 0.0010 0.0001
## 500 0.9351 nan 0.0010 0.0001
## 520 0.9330 nan 0.0010 0.0000
## 540 0.9310 nan 0.0010 0.0000
## 560 0.9291 nan 0.0010 0.0000
## 580 0.9273 nan 0.0010 0.0000
## 600 0.9255 nan 0.0010 0.0000
## 620 0.9237 nan 0.0010 0.0000
## 640 0.9220 nan 0.0010 0.0000
## 660 0.9203 nan 0.0010 0.0000
## 680 0.9188 nan 0.0010 0.0000
## 700 0.9172 nan 0.0010 0.0000
## 720 0.9155 nan 0.0010 0.0000
## 740 0.9141 nan 0.0010 0.0000
## 760 0.9126 nan 0.0010 0.0000
## 780 0.9112 nan 0.0010 0.0000
## 800 0.9099 nan 0.0010 0.0000
## 820 0.9085 nan 0.0010 0.0000
## 840 0.9072 nan 0.0010 0.0000
## 860 0.9059 nan 0.0010 0.0000
## 880 0.9047 nan 0.0010 0.0000
## 900 0.9035 nan 0.0010 0.0000
## 920 0.9024 nan 0.0010 0.0000
## 940 0.9012 nan 0.0010 0.0000
## 960 0.9001 nan 0.0010 0.0000
## 980 0.8990 nan 0.0010 0.0000
## 1000 0.8979 nan 0.0010 0.0000
## 1020 0.8969 nan 0.0010 0.0000
## 1040 0.8958 nan 0.0010 0.0000
## 1060 0.8948 nan 0.0010 0.0000
## 1080 0.8939 nan 0.0010 0.0000
## 1100 0.8930 nan 0.0010 0.0000
## 1120 0.8921 nan 0.0010 0.0000
## 1140 0.8913 nan 0.0010 0.0000
## 1160 0.8904 nan 0.0010 0.0000
## 1180 0.8895 nan 0.0010 0.0000
## 1200 0.8887 nan 0.0010 0.0000
## 1220 0.8879 nan 0.0010 0.0000
## 1240 0.8870 nan 0.0010 0.0000
## 1260 0.8862 nan 0.0010 0.0000
## 1280 0.8855 nan 0.0010 0.0000
## 1300 0.8846 nan 0.0010 0.0000
## 1320 0.8839 nan 0.0010 0.0000
## 1340 0.8831 nan 0.0010 0.0000
## 1360 0.8823 nan 0.0010 0.0000
## 1380 0.8816 nan 0.0010 0.0000
## 1400 0.8810 nan 0.0010 0.0000
## 1420 0.8802 nan 0.0010 0.0000
## 1440 0.8795 nan 0.0010 0.0000
## 1460 0.8788 nan 0.0010 0.0000
## 1480 0.8781 nan 0.0010 0.0000
## 1500 0.8775 nan 0.0010 0.0000
## 1520 0.8768 nan 0.0010 0.0000
## 1540 0.8762 nan 0.0010 0.0000
## 1560 0.8755 nan 0.0010 0.0000
## 1580 0.8748 nan 0.0010 0.0000
## 1600 0.8742 nan 0.0010 0.0000
## 1620 0.8736 nan 0.0010 0.0000
## 1640 0.8729 nan 0.0010 0.0000
## 1660 0.8723 nan 0.0010 0.0000
## 1680 0.8717 nan 0.0010 0.0000
## 1700 0.8711 nan 0.0010 0.0000
## 1720 0.8705 nan 0.0010 0.0000
## 1740 0.8699 nan 0.0010 0.0000
## 1760 0.8693 nan 0.0010 0.0000
## 1780 0.8687 nan 0.0010 0.0000
## 1800 0.8682 nan 0.0010 0.0000
## 1820 0.8676 nan 0.0010 0.0000
## 1840 0.8671 nan 0.0010 0.0000
## 1860 0.8665 nan 0.0010 0.0000
## 1880 0.8659 nan 0.0010 0.0000
## 1900 0.8654 nan 0.0010 0.0000
## 1920 0.8648 nan 0.0010 0.0000
## 1940 0.8642 nan 0.0010 0.0000
## 1960 0.8637 nan 0.0010 0.0000
## 1980 0.8632 nan 0.0010 0.0000
## 2000 0.8627 nan 0.0010 0.0000
## 2020 0.8622 nan 0.0010 0.0000
## 2040 0.8617 nan 0.0010 0.0000
## 2060 0.8612 nan 0.0010 0.0000
## 2080 0.8607 nan 0.0010 0.0000
## 2100 0.8602 nan 0.0010 0.0000
## 2120 0.8598 nan 0.0010 0.0000
## 2140 0.8593 nan 0.0010 0.0000
## 2160 0.8589 nan 0.0010 0.0000
## 2180 0.8584 nan 0.0010 0.0000
## 2200 0.8579 nan 0.0010 0.0000
## 2220 0.8575 nan 0.0010 0.0000
## 2240 0.8571 nan 0.0010 0.0000
## 2260 0.8567 nan 0.0010 0.0000
## 2280 0.8562 nan 0.0010 0.0000
## 2300 0.8557 nan 0.0010 0.0000
## 2320 0.8553 nan 0.0010 0.0000
## 2340 0.8548 nan 0.0010 0.0000
## 2360 0.8544 nan 0.0010 0.0000
## 2380 0.8540 nan 0.0010 0.0000
## 2400 0.8536 nan 0.0010 0.0000
## 2420 0.8532 nan 0.0010 0.0000
## 2440 0.8528 nan 0.0010 0.0000
## 2460 0.8524 nan 0.0010 0.0000
## 2480 0.8520 nan 0.0010 0.0000
## 2500 0.8516 nan 0.0010 0.0000
## 2520 0.8512 nan 0.0010 0.0000
## 2540 0.8508 nan 0.0010 0.0000
## 2560 0.8504 nan 0.0010 0.0000
## 2580 0.8499 nan 0.0010 0.0000
## 2600 0.8495 nan 0.0010 0.0000
## 2620 0.8491 nan 0.0010 0.0000
## 2640 0.8488 nan 0.0010 0.0000
## 2660 0.8484 nan 0.0010 0.0000
## 2680 0.8480 nan 0.0010 0.0000
## 2700 0.8476 nan 0.0010 0.0000
## 2720 0.8472 nan 0.0010 0.0000
## 2740 0.8468 nan 0.0010 0.0000
## 2760 0.8464 nan 0.0010 0.0000
## 2780 0.8461 nan 0.0010 0.0000
## 2800 0.8457 nan 0.0010 0.0000
## 2820 0.8453 nan 0.0010 0.0000
## 2840 0.8449 nan 0.0010 0.0000
## 2860 0.8446 nan 0.0010 0.0000
## 2880 0.8442 nan 0.0010 -0.0000
## 2900 0.8438 nan 0.0010 0.0000
## 2920 0.8435 nan 0.0010 0.0000
## 2940 0.8431 nan 0.0010 0.0000
## 2960 0.8428 nan 0.0010 0.0000
## 2980 0.8424 nan 0.0010 0.0000
## 3000 0.8420 nan 0.0010 0.0000
## 3020 0.8417 nan 0.0010 0.0000
## 3040 0.8414 nan 0.0010 -0.0000
## 3060 0.8410 nan 0.0010 0.0000
## 3080 0.8407 nan 0.0010 0.0000
## 3100 0.8403 nan 0.0010 0.0000
## 3120 0.8400 nan 0.0010 0.0000
## 3140 0.8397 nan 0.0010 0.0000
## 3160 0.8394 nan 0.0010 0.0000
## 3180 0.8390 nan 0.0010 0.0000
## 3200 0.8387 nan 0.0010 0.0000
## 3220 0.8383 nan 0.0010 0.0000
## 3240 0.8380 nan 0.0010 0.0000
## 3260 0.8377 nan 0.0010 0.0000
## 3280 0.8374 nan 0.0010 0.0000
## 3300 0.8370 nan 0.0010 0.0000
## 3320 0.8367 nan 0.0010 0.0000
## 3340 0.8364 nan 0.0010 0.0000
## 3360 0.8361 nan 0.0010 -0.0000
## 3380 0.8357 nan 0.0010 0.0000
## 3400 0.8354 nan 0.0010 0.0000
## 3420 0.8351 nan 0.0010 0.0000
## 3440 0.8348 nan 0.0010 0.0000
## 3460 0.8344 nan 0.0010 0.0000
## 3480 0.8342 nan 0.0010 0.0000
## 3500 0.8338 nan 0.0010 0.0000
## 3520 0.8335 nan 0.0010 0.0000
## 3540 0.8332 nan 0.0010 0.0000
## 3560 0.8329 nan 0.0010 -0.0000
## 3580 0.8326 nan 0.0010 0.0000
## 3600 0.8323 nan 0.0010 0.0000
## 3620 0.8319 nan 0.0010 0.0000
## 3640 0.8316 nan 0.0010 0.0000
## 3660 0.8313 nan 0.0010 0.0000
## 3680 0.8310 nan 0.0010 -0.0000
## 3700 0.8307 nan 0.0010 0.0000
## 3720 0.8304 nan 0.0010 0.0000
## 3740 0.8302 nan 0.0010 0.0000
## 3760 0.8299 nan 0.0010 0.0000
## 3780 0.8296 nan 0.0010 0.0000
## 3800 0.8293 nan 0.0010 0.0000
## 3820 0.8290 nan 0.0010 0.0000
## 3840 0.8287 nan 0.0010 0.0000
## 3860 0.8284 nan 0.0010 0.0000
## 3880 0.8281 nan 0.0010 0.0000
## 3900 0.8278 nan 0.0010 0.0000
## 3920 0.8275 nan 0.0010 0.0000
## 3940 0.8273 nan 0.0010 0.0000
## 3960 0.8270 nan 0.0010 -0.0000
## 3980 0.8267 nan 0.0010 0.0000
## 4000 0.8264 nan 0.0010 0.0000
## 4020 0.8261 nan 0.0010 0.0000
## 4040 0.8259 nan 0.0010 0.0000
## 4060 0.8256 nan 0.0010 0.0000
## 4080 0.8253 nan 0.0010 0.0000
## 4100 0.8250 nan 0.0010 -0.0000
## 4120 0.8247 nan 0.0010 0.0000
## 4140 0.8245 nan 0.0010 0.0000
## 4160 0.8242 nan 0.0010 0.0000
## 4180 0.8239 nan 0.0010 0.0000
## 4200 0.8237 nan 0.0010 0.0000
## 4220 0.8234 nan 0.0010 -0.0000
## 4240 0.8232 nan 0.0010 0.0000
## 4260 0.8229 nan 0.0010 0.0000
## 4280 0.8227 nan 0.0010 0.0000
## 4300 0.8224 nan 0.0010 0.0000
## 4320 0.8221 nan 0.0010 0.0000
## 4340 0.8219 nan 0.0010 0.0000
## 4360 0.8216 nan 0.0010 0.0000
## 4380 0.8213 nan 0.0010 0.0000
## 4400 0.8211 nan 0.0010 0.0000
## 4420 0.8208 nan 0.0010 0.0000
## 4440 0.8206 nan 0.0010 0.0000
## 4460 0.8203 nan 0.0010 0.0000
## 4480 0.8200 nan 0.0010 -0.0000
## 4500 0.8198 nan 0.0010 0.0000
## 4520 0.8196 nan 0.0010 0.0000
## 4540 0.8193 nan 0.0010 0.0000
## 4560 0.8190 nan 0.0010 0.0000
## 4580 0.8188 nan 0.0010 -0.0000
## 4600 0.8186 nan 0.0010 -0.0000
## 4620 0.8183 nan 0.0010 0.0000
## 4640 0.8181 nan 0.0010 0.0000
## 4660 0.8178 nan 0.0010 0.0000
## 4680 0.8176 nan 0.0010 0.0000
## 4700 0.8173 nan 0.0010 0.0000
## 4720 0.8171 nan 0.0010 0.0000
## 4740 0.8168 nan 0.0010 0.0000
## 4760 0.8166 nan 0.0010 0.0000
## 4780 0.8163 nan 0.0010 0.0000
## 4800 0.8161 nan 0.0010 0.0000
## 4820 0.8158 nan 0.0010 0.0000
## 4840 0.8156 nan 0.0010 0.0000
## 4860 0.8154 nan 0.0010 0.0000
## 4880 0.8151 nan 0.0010 0.0000
## 4900 0.8149 nan 0.0010 0.0000
## 4920 0.8147 nan 0.0010 0.0000
## 4940 0.8145 nan 0.0010 0.0000
## 4960 0.8142 nan 0.0010 -0.0000
## 4980 0.8140 nan 0.0010 0.0000
## 5000 0.8138 nan 0.0010 0.0000
## 5020 0.8136 nan 0.0010 0.0000
## 5040 0.8133 nan 0.0010 0.0000
## 5060 0.8131 nan 0.0010 -0.0000
## 5080 0.8129 nan 0.0010 0.0000
## 5100 0.8126 nan 0.0010 -0.0000
## 5120 0.8124 nan 0.0010 -0.0000
## 5140 0.8122 nan 0.0010 0.0000
## 5160 0.8119 nan 0.0010 0.0000
## 5180 0.8117 nan 0.0010 0.0000
## 5200 0.8115 nan 0.0010 0.0000
## 5220 0.8113 nan 0.0010 0.0000
## 5240 0.8110 nan 0.0010 0.0000
## 5260 0.8108 nan 0.0010 0.0000
## 5280 0.8106 nan 0.0010 0.0000
## 5300 0.8104 nan 0.0010 -0.0000
## 5320 0.8102 nan 0.0010 0.0000
## 5340 0.8099 nan 0.0010 0.0000
## 5360 0.8097 nan 0.0010 0.0000
## 5380 0.8095 nan 0.0010 0.0000
## 5400 0.8093 nan 0.0010 0.0000
## 5420 0.8090 nan 0.0010 0.0000
## 5440 0.8088 nan 0.0010 0.0000
## 5460 0.8086 nan 0.0010 0.0000
## 5480 0.8084 nan 0.0010 0.0000
## 5500 0.8082 nan 0.0010 0.0000
## 5520 0.8080 nan 0.0010 0.0000
## 5540 0.8077 nan 0.0010 0.0000
## 5560 0.8075 nan 0.0010 -0.0000
## 5580 0.8073 nan 0.0010 0.0000
## 5600 0.8071 nan 0.0010 0.0000
## 5620 0.8070 nan 0.0010 0.0000
## 5640 0.8067 nan 0.0010 0.0000
## 5660 0.8065 nan 0.0010 -0.0000
## 5680 0.8063 nan 0.0010 -0.0000
## 5700 0.8061 nan 0.0010 0.0000
## 5720 0.8059 nan 0.0010 0.0000
## 5740 0.8057 nan 0.0010 0.0000
## 5760 0.8055 nan 0.0010 0.0000
## 5780 0.8053 nan 0.0010 0.0000
## 5800 0.8051 nan 0.0010 0.0000
## 5820 0.8049 nan 0.0010 -0.0000
## 5840 0.8047 nan 0.0010 0.0000
## 5860 0.8045 nan 0.0010 0.0000
## 5880 0.8043 nan 0.0010 0.0000
## 5900 0.8041 nan 0.0010 -0.0000
## 5920 0.8039 nan 0.0010 -0.0000
## 5940 0.8037 nan 0.0010 0.0000
## 5960 0.8036 nan 0.0010 -0.0000
## 5980 0.8034 nan 0.0010 0.0000
## 6000 0.8032 nan 0.0010 0.0000
## 6020 0.8030 nan 0.0010 0.0000
## 6040 0.8028 nan 0.0010 0.0000
## 6060 0.8026 nan 0.0010 -0.0000
## 6080 0.8024 nan 0.0010 0.0000
## 6100 0.8022 nan 0.0010 -0.0000
## 6120 0.8020 nan 0.0010 0.0000
## 6140 0.8018 nan 0.0010 -0.0000
## 6160 0.8016 nan 0.0010 0.0000
## 6180 0.8014 nan 0.0010 0.0000
## 6200 0.8013 nan 0.0010 -0.0000
## 6220 0.8011 nan 0.0010 0.0000
## 6240 0.8009 nan 0.0010 -0.0000
## 6260 0.8007 nan 0.0010 0.0000
## 6280 0.8006 nan 0.0010 0.0000
## 6300 0.8004 nan 0.0010 0.0000
## 6320 0.8002 nan 0.0010 0.0000
## 6340 0.8000 nan 0.0010 0.0000
## 6360 0.7998 nan 0.0010 -0.0000
## 6380 0.7997 nan 0.0010 0.0000
## 6400 0.7995 nan 0.0010 0.0000
## 6420 0.7993 nan 0.0010 -0.0000
## 6440 0.7991 nan 0.0010 0.0000
## 6460 0.7989 nan 0.0010 0.0000
## 6480 0.7987 nan 0.0010 0.0000
## 6500 0.7986 nan 0.0010 0.0000
## 6520 0.7984 nan 0.0010 0.0000
## 6540 0.7982 nan 0.0010 0.0000
## 6560 0.7980 nan 0.0010 -0.0000
## 6580 0.7979 nan 0.0010 -0.0000
## 6600 0.7977 nan 0.0010 -0.0000
## 6620 0.7975 nan 0.0010 0.0000
## 6640 0.7973 nan 0.0010 0.0000
## 6660 0.7972 nan 0.0010 0.0000
## 6680 0.7970 nan 0.0010 0.0000
## 6700 0.7969 nan 0.0010 -0.0000
## 6720 0.7967 nan 0.0010 -0.0000
## 6740 0.7965 nan 0.0010 0.0000
## 6760 0.7963 nan 0.0010 -0.0000
## 6780 0.7962 nan 0.0010 -0.0000
## 6800 0.7960 nan 0.0010 0.0000
## 6820 0.7959 nan 0.0010 0.0000
## 6840 0.7957 nan 0.0010 -0.0000
## 6860 0.7955 nan 0.0010 0.0000
## 6880 0.7954 nan 0.0010 -0.0000
## 6900 0.7952 nan 0.0010 -0.0000
## 6920 0.7950 nan 0.0010 0.0000
## 6940 0.7948 nan 0.0010 0.0000
## 6960 0.7947 nan 0.0010 0.0000
## 6980 0.7945 nan 0.0010 0.0000
## 7000 0.7943 nan 0.0010 0.0000
## 7020 0.7942 nan 0.0010 -0.0000
## 7040 0.7940 nan 0.0010 0.0000
## 7060 0.7939 nan 0.0010 0.0000
## 7080 0.7937 nan 0.0010 -0.0000
## 7100 0.7936 nan 0.0010 0.0000
## 7120 0.7934 nan 0.0010 -0.0000
## 7140 0.7933 nan 0.0010 0.0000
## 7160 0.7931 nan 0.0010 -0.0000
## 7180 0.7929 nan 0.0010 0.0000
## 7200 0.7928 nan 0.0010 0.0000
## 7220 0.7926 nan 0.0010 0.0000
## 7240 0.7924 nan 0.0010 0.0000
## 7260 0.7923 nan 0.0010 0.0000
## 7280 0.7921 nan 0.0010 0.0000
## 7300 0.7920 nan 0.0010 0.0000
## 7320 0.7918 nan 0.0010 0.0000
## 7340 0.7917 nan 0.0010 -0.0000
## 7360 0.7915 nan 0.0010 0.0000
## 7380 0.7914 nan 0.0010 0.0000
## 7400 0.7912 nan 0.0010 -0.0000
## 7420 0.7911 nan 0.0010 0.0000
## 7440 0.7909 nan 0.0010 0.0000
## 7460 0.7907 nan 0.0010 -0.0000
## 7480 0.7906 nan 0.0010 -0.0000
## 7500 0.7904 nan 0.0010 0.0000
## 7520 0.7902 nan 0.0010 0.0000
## 7540 0.7901 nan 0.0010 0.0000
## 7560 0.7899 nan 0.0010 0.0000
## 7580 0.7898 nan 0.0010 0.0000
## 7600 0.7896 nan 0.0010 -0.0000
## 7620 0.7895 nan 0.0010 0.0000
## 7640 0.7894 nan 0.0010 0.0000
## 7660 0.7892 nan 0.0010 -0.0000
## 7680 0.7891 nan 0.0010 0.0000
## 7700 0.7889 nan 0.0010 0.0000
## 7720 0.7888 nan 0.0010 -0.0000
## 7740 0.7886 nan 0.0010 -0.0000
## 7760 0.7885 nan 0.0010 0.0000
## 7780 0.7883 nan 0.0010 0.0000
## 7800 0.7882 nan 0.0010 -0.0000
## 7820 0.7880 nan 0.0010 0.0000
## 7840 0.7879 nan 0.0010 0.0000
## 7860 0.7877 nan 0.0010 0.0000
## 7880 0.7875 nan 0.0010 0.0000
## 7900 0.7874 nan 0.0010 -0.0000
## 7920 0.7872 nan 0.0010 0.0000
## 7940 0.7871 nan 0.0010 0.0000
## 7960 0.7869 nan 0.0010 -0.0000
## 7980 0.7868 nan 0.0010 -0.0000
## 8000 0.7866 nan 0.0010 -0.0000
## 8020 0.7865 nan 0.0010 -0.0000
## 8040 0.7863 nan 0.0010 0.0000
## 8060 0.7862 nan 0.0010 -0.0000
## 8080 0.7860 nan 0.0010 0.0000
## 8100 0.7859 nan 0.0010 0.0000
## 8120 0.7857 nan 0.0010 -0.0000
## 8140 0.7856 nan 0.0010 -0.0000
## 8160 0.7855 nan 0.0010 -0.0000
## 8180 0.7853 nan 0.0010 -0.0000
## 8200 0.7852 nan 0.0010 -0.0000
## 8220 0.7850 nan 0.0010 0.0000
## 8240 0.7849 nan 0.0010 -0.0000
## 8260 0.7848 nan 0.0010 -0.0000
## 8280 0.7846 nan 0.0010 -0.0000
## 8300 0.7845 nan 0.0010 0.0000
## 8320 0.7843 nan 0.0010 -0.0000
## 8340 0.7842 nan 0.0010 0.0000
## 8360 0.7840 nan 0.0010 0.0000
## 8380 0.7839 nan 0.0010 0.0000
## 8400 0.7837 nan 0.0010 0.0000
## 8420 0.7836 nan 0.0010 0.0000
## 8440 0.7835 nan 0.0010 0.0000
## 8460 0.7833 nan 0.0010 -0.0000
## 8480 0.7832 nan 0.0010 -0.0000
## 8500 0.7830 nan 0.0010 -0.0000
## 8520 0.7829 nan 0.0010 -0.0000
## 8540 0.7828 nan 0.0010 0.0000
## 8560 0.7826 nan 0.0010 -0.0000
## 8580 0.7825 nan 0.0010 -0.0000
## 8600 0.7824 nan 0.0010 -0.0000
## 8620 0.7822 nan 0.0010 0.0000
## 8640 0.7821 nan 0.0010 -0.0000
## 8660 0.7820 nan 0.0010 -0.0000
## 8680 0.7819 nan 0.0010 0.0000
## 8700 0.7818 nan 0.0010 -0.0000
## 8720 0.7816 nan 0.0010 -0.0000
## 8740 0.7814 nan 0.0010 -0.0000
## 8760 0.7813 nan 0.0010 -0.0000
## 8780 0.7812 nan 0.0010 -0.0000
## 8800 0.7811 nan 0.0010 0.0000
## 8820 0.7809 nan 0.0010 0.0000
## 8840 0.7808 nan 0.0010 -0.0000
## 8860 0.7807 nan 0.0010 -0.0000
## 8880 0.7806 nan 0.0010 0.0000
## 8900 0.7805 nan 0.0010 -0.0000
## 8920 0.7803 nan 0.0010 -0.0000
## 8940 0.7802 nan 0.0010 0.0000
## 8960 0.7801 nan 0.0010 0.0000
## 8980 0.7799 nan 0.0010 -0.0000
## 9000 0.7798 nan 0.0010 -0.0000
## 9020 0.7797 nan 0.0010 -0.0000
## 9040 0.7796 nan 0.0010 -0.0000
## 9060 0.7794 nan 0.0010 0.0000
## 9080 0.7793 nan 0.0010 -0.0000
## 9100 0.7792 nan 0.0010 -0.0000
## 9120 0.7790 nan 0.0010 -0.0000
## 9140 0.7789 nan 0.0010 0.0000
## 9160 0.7787 nan 0.0010 0.0000
## 9180 0.7786 nan 0.0010 -0.0000
## 9200 0.7785 nan 0.0010 0.0000
## 9220 0.7784 nan 0.0010 -0.0000
## 9240 0.7782 nan 0.0010 -0.0000
## 9260 0.7781 nan 0.0010 -0.0000
## 9280 0.7780 nan 0.0010 -0.0000
## 9300 0.7778 nan 0.0010 -0.0000
## 9320 0.7777 nan 0.0010 -0.0000
## 9340 0.7776 nan 0.0010 -0.0000
## 9360 0.7775 nan 0.0010 0.0000
## 9380 0.7773 nan 0.0010 0.0000
## 9400 0.7772 nan 0.0010 0.0000
## 9420 0.7771 nan 0.0010 0.0000
## 9440 0.7770 nan 0.0010 0.0000
## 9460 0.7768 nan 0.0010 0.0000
## 9480 0.7767 nan 0.0010 -0.0000
## 9500 0.7766 nan 0.0010 0.0000
## 9520 0.7765 nan 0.0010 -0.0000
## 9540 0.7763 nan 0.0010 -0.0000
## 9560 0.7762 nan 0.0010 -0.0000
## 9580 0.7761 nan 0.0010 -0.0000
## 9600 0.7759 nan 0.0010 -0.0000
## 9620 0.7758 nan 0.0010 -0.0000
## 9640 0.7757 nan 0.0010 -0.0000
## 9660 0.7756 nan 0.0010 0.0000
## 9680 0.7755 nan 0.0010 -0.0000
## 9700 0.7753 nan 0.0010 0.0000
## 9720 0.7752 nan 0.0010 -0.0000
## 9740 0.7751 nan 0.0010 -0.0000
## 9760 0.7750 nan 0.0010 -0.0000
## 9780 0.7749 nan 0.0010 0.0000
## 9800 0.7747 nan 0.0010 -0.0000
## 9820 0.7746 nan 0.0010 -0.0000
## 9840 0.7745 nan 0.0010 -0.0000
## 9860 0.7744 nan 0.0010 -0.0000
## 9880 0.7743 nan 0.0010 -0.0000
## 9900 0.7741 nan 0.0010 -0.0000
## 9920 0.7740 nan 0.0010 -0.0000
## 9940 0.7739 nan 0.0010 -0.0000
## 9960 0.7738 nan 0.0010 -0.0000
## 9980 0.7737 nan 0.0010 -0.0000
## 10000 0.7735 nan 0.0010 0.0000
## 10020 0.7734 nan 0.0010 -0.0000
## 10040 0.7733 nan 0.0010 -0.0000
## 10060 0.7732 nan 0.0010 -0.0000
## 10080 0.7731 nan 0.0010 0.0000
## 10100 0.7730 nan 0.0010 -0.0000
## 10120 0.7728 nan 0.0010 0.0000
## 10140 0.7727 nan 0.0010 -0.0000
## 10160 0.7726 nan 0.0010 0.0000
## 10180 0.7725 nan 0.0010 -0.0000
## 10200 0.7724 nan 0.0010 -0.0000
## 10220 0.7723 nan 0.0010 -0.0000
## 10240 0.7722 nan 0.0010 -0.0000
## 10260 0.7721 nan 0.0010 -0.0000
## 10280 0.7719 nan 0.0010 -0.0000
## 10300 0.7718 nan 0.0010 -0.0000
## 10320 0.7717 nan 0.0010 -0.0000
## 10340 0.7716 nan 0.0010 -0.0000
## 10360 0.7715 nan 0.0010 -0.0000
## 10380 0.7714 nan 0.0010 -0.0000
## 10400 0.7713 nan 0.0010 0.0000
## 10420 0.7711 nan 0.0010 -0.0000
## 10440 0.7711 nan 0.0010 -0.0000
## 10460 0.7710 nan 0.0010 -0.0000
## 10480 0.7709 nan 0.0010 -0.0000
## 10500 0.7708 nan 0.0010 -0.0000
## 10520 0.7706 nan 0.0010 -0.0000
## 10540 0.7705 nan 0.0010 -0.0000
## 10560 0.7704 nan 0.0010 0.0000
## 10580 0.7703 nan 0.0010 -0.0000
## 10600 0.7702 nan 0.0010 -0.0000
## 10620 0.7701 nan 0.0010 -0.0000
## 10640 0.7700 nan 0.0010 -0.0000
## 10660 0.7699 nan 0.0010 -0.0000
## 10680 0.7698 nan 0.0010 0.0000
## 10700 0.7696 nan 0.0010 0.0000
## 10720 0.7695 nan 0.0010 -0.0000
## 10740 0.7694 nan 0.0010 -0.0000
## 10760 0.7693 nan 0.0010 -0.0000
## 10780 0.7692 nan 0.0010 0.0000
## 10800 0.7691 nan 0.0010 -0.0000
## 10820 0.7690 nan 0.0010 -0.0000
## 10840 0.7689 nan 0.0010 -0.0000
## 10860 0.7688 nan 0.0010 -0.0000
## 10880 0.7687 nan 0.0010 -0.0000
## 10900 0.7686 nan 0.0010 0.0000
## 10920 0.7685 nan 0.0010 -0.0000
## 10940 0.7684 nan 0.0010 -0.0000
## 10960 0.7683 nan 0.0010 -0.0000
## 10980 0.7682 nan 0.0010 -0.0000
## 11000 0.7681 nan 0.0010 0.0000
## 11020 0.7679 nan 0.0010 -0.0000
## 11040 0.7678 nan 0.0010 0.0000
## 11060 0.7677 nan 0.0010 -0.0000
## 11080 0.7676 nan 0.0010 -0.0000
## 11100 0.7675 nan 0.0010 0.0000
## 11120 0.7674 nan 0.0010 -0.0000
## 11140 0.7673 nan 0.0010 -0.0000
## 11160 0.7672 nan 0.0010 0.0000
## 11180 0.7671 nan 0.0010 -0.0000
## 11200 0.7670 nan 0.0010 -0.0000
## 11220 0.7669 nan 0.0010 -0.0000
## 11240 0.7668 nan 0.0010 -0.0000
## 11260 0.7667 nan 0.0010 -0.0000
## 11280 0.7666 nan 0.0010 -0.0000
## 11300 0.7664 nan 0.0010 -0.0000
## 11320 0.7663 nan 0.0010 0.0000
## 11340 0.7662 nan 0.0010 -0.0000
## 11360 0.7661 nan 0.0010 0.0000
## 11380 0.7660 nan 0.0010 -0.0000
## 11400 0.7659 nan 0.0010 -0.0000
## 11420 0.7658 nan 0.0010 -0.0000
## 11440 0.7657 nan 0.0010 0.0000
## 11460 0.7656 nan 0.0010 -0.0000
## 11480 0.7655 nan 0.0010 0.0000
## 11500 0.7654 nan 0.0010 -0.0000
## 11520 0.7652 nan 0.0010 0.0000
## 11540 0.7651 nan 0.0010 -0.0000
## 11560 0.7650 nan 0.0010 -0.0000
## 11580 0.7649 nan 0.0010 -0.0000
## 11600 0.7649 nan 0.0010 -0.0000
## 11620 0.7648 nan 0.0010 -0.0000
## 11640 0.7647 nan 0.0010 0.0000
## 11660 0.7646 nan 0.0010 -0.0000
## 11680 0.7645 nan 0.0010 -0.0000
## 11700 0.7643 nan 0.0010 -0.0000
## 11720 0.7642 nan 0.0010 0.0000
## 11740 0.7641 nan 0.0010 0.0000
## 11760 0.7640 nan 0.0010 -0.0000
## 11780 0.7639 nan 0.0010 -0.0000
## 11800 0.7638 nan 0.0010 0.0000
## 11820 0.7637 nan 0.0010 -0.0000
## 11840 0.7636 nan 0.0010 -0.0000
## 11860 0.7635 nan 0.0010 -0.0000
## 11880 0.7634 nan 0.0010 -0.0000
## 11900 0.7633 nan 0.0010 -0.0000
## 11920 0.7632 nan 0.0010 -0.0000
## 11940 0.7631 nan 0.0010 -0.0000
## 11960 0.7629 nan 0.0010 0.0000
## 11980 0.7628 nan 0.0010 -0.0000
## 12000 0.7627 nan 0.0010 -0.0000
## 12020 0.7626 nan 0.0010 -0.0000
## 12040 0.7625 nan 0.0010 -0.0000
## 12060 0.7625 nan 0.0010 0.0000
## 12080 0.7623 nan 0.0010 -0.0000
## 12100 0.7622 nan 0.0010 -0.0000
## 12120 0.7621 nan 0.0010 -0.0000
## 12140 0.7621 nan 0.0010 -0.0000
## 12160 0.7620 nan 0.0010 -0.0000
## 12180 0.7619 nan 0.0010 -0.0000
## 12200 0.7618 nan 0.0010 -0.0000
## 12220 0.7617 nan 0.0010 -0.0000
## 12240 0.7616 nan 0.0010 -0.0000
## 12260 0.7615 nan 0.0010 0.0000
## 12280 0.7614 nan 0.0010 -0.0000
## 12300 0.7613 nan 0.0010 -0.0000
## 12320 0.7612 nan 0.0010 -0.0000
## 12340 0.7611 nan 0.0010 0.0000
## 12360 0.7610 nan 0.0010 -0.0000
## 12380 0.7609 nan 0.0010 0.0000
## 12400 0.7608 nan 0.0010 -0.0000
## 12420 0.7607 nan 0.0010 0.0000
## 12440 0.7606 nan 0.0010 0.0000
## 12460 0.7605 nan 0.0010 -0.0000
## 12480 0.7605 nan 0.0010 -0.0000
## 12500 0.7604 nan 0.0010 -0.0000
## 12520 0.7602 nan 0.0010 -0.0000
## 12540 0.7601 nan 0.0010 -0.0000
## 12560 0.7601 nan 0.0010 0.0000
## 12580 0.7600 nan 0.0010 0.0000
## 12600 0.7599 nan 0.0010 -0.0000
## 12620 0.7598 nan 0.0010 0.0000
## 12640 0.7597 nan 0.0010 0.0000
## 12660 0.7596 nan 0.0010 -0.0000
## 12680 0.7595 nan 0.0010 -0.0000
## 12700 0.7594 nan 0.0010 0.0000
## 12720 0.7593 nan 0.0010 -0.0000
## 12740 0.7592 nan 0.0010 0.0000
## 12760 0.7591 nan 0.0010 -0.0000
## 12780 0.7590 nan 0.0010 -0.0000
## 12800 0.7589 nan 0.0010 0.0000
## 12820 0.7588 nan 0.0010 -0.0000
## 12840 0.7587 nan 0.0010 -0.0000
## 12860 0.7587 nan 0.0010 0.0000
## 12880 0.7586 nan 0.0010 -0.0000
## 12900 0.7585 nan 0.0010 -0.0000
## 12920 0.7584 nan 0.0010 0.0000
## 12940 0.7583 nan 0.0010 -0.0000
## 12960 0.7582 nan 0.0010 -0.0000
## 12980 0.7581 nan 0.0010 -0.0000
## 13000 0.7580 nan 0.0010 -0.0000
## 13020 0.7579 nan 0.0010 -0.0000
## 13040 0.7578 nan 0.0010 -0.0000
## 13060 0.7577 nan 0.0010 -0.0000
## 13080 0.7577 nan 0.0010 -0.0000
## 13100 0.7576 nan 0.0010 -0.0000
## 13120 0.7575 nan 0.0010 0.0000
## 13140 0.7574 nan 0.0010 -0.0000
## 13160 0.7573 nan 0.0010 -0.0000
## 13180 0.7572 nan 0.0010 -0.0000
## 13200 0.7571 nan 0.0010 -0.0000
## 13220 0.7570 nan 0.0010 0.0000
## 13240 0.7569 nan 0.0010 -0.0000
## 13260 0.7569 nan 0.0010 0.0000
## 13280 0.7568 nan 0.0010 -0.0000
## 13300 0.7567 nan 0.0010 -0.0000
## 13320 0.7566 nan 0.0010 -0.0000
## 13340 0.7564 nan 0.0010 -0.0000
## 13360 0.7564 nan 0.0010 -0.0000
## 13380 0.7563 nan 0.0010 -0.0000
## 13400 0.7562 nan 0.0010 -0.0000
## 13420 0.7561 nan 0.0010 -0.0000
## 13440 0.7560 nan 0.0010 -0.0000
## 13460 0.7559 nan 0.0010 0.0000
## 13480 0.7558 nan 0.0010 -0.0000
## 13500 0.7557 nan 0.0010 -0.0000
## 13520 0.7556 nan 0.0010 -0.0000
## 13540 0.7556 nan 0.0010 -0.0000
## 13560 0.7555 nan 0.0010 -0.0000
## 13580 0.7554 nan 0.0010 -0.0000
## 13600 0.7553 nan 0.0010 -0.0000
## 13620 0.7552 nan 0.0010 -0.0000
## 13640 0.7551 nan 0.0010 0.0000
## 13660 0.7550 nan 0.0010 0.0000
## 13680 0.7549 nan 0.0010 -0.0000
## 13700 0.7548 nan 0.0010 -0.0000
## 13720 0.7547 nan 0.0010 0.0000
## 13740 0.7546 nan 0.0010 -0.0000
## 13760 0.7546 nan 0.0010 -0.0000
## 13780 0.7545 nan 0.0010 -0.0000
## 13800 0.7544 nan 0.0010 -0.0000
## 13820 0.7543 nan 0.0010 -0.0000
## 13840 0.7543 nan 0.0010 -0.0000
## 13860 0.7542 nan 0.0010 -0.0000
## 13880 0.7541 nan 0.0010 -0.0000
## 13900 0.7540 nan 0.0010 -0.0000
## 13920 0.7539 nan 0.0010 -0.0000
## 13940 0.7538 nan 0.0010 -0.0000
## 13960 0.7538 nan 0.0010 -0.0000
## 13980 0.7537 nan 0.0010 -0.0000
## 14000 0.7536 nan 0.0010 -0.0000
## 14020 0.7535 nan 0.0010 -0.0000
## 14040 0.7534 nan 0.0010 -0.0000
## 14060 0.7533 nan 0.0010 -0.0000
## 14080 0.7532 nan 0.0010 -0.0000
## 14100 0.7532 nan 0.0010 0.0000
## 14120 0.7531 nan 0.0010 -0.0000
## 14140 0.7530 nan 0.0010 -0.0000
## 14160 0.7529 nan 0.0010 -0.0000
## 14180 0.7528 nan 0.0010 -0.0000
## 14200 0.7527 nan 0.0010 -0.0000
## 14220 0.7526 nan 0.0010 -0.0000
## 14240 0.7525 nan 0.0010 -0.0000
## 14260 0.7525 nan 0.0010 -0.0000
## 14280 0.7524 nan 0.0010 -0.0000
## 14300 0.7523 nan 0.0010 -0.0000
## 14320 0.7522 nan 0.0010 -0.0000
## 14340 0.7522 nan 0.0010 -0.0000
## 14360 0.7521 nan 0.0010 0.0000
## 14380 0.7520 nan 0.0010 -0.0000
## 14400 0.7519 nan 0.0010 -0.0000
## 14420 0.7518 nan 0.0010 0.0000
## 14440 0.7518 nan 0.0010 -0.0000
## 14460 0.7517 nan 0.0010 -0.0000
## 14480 0.7516 nan 0.0010 -0.0000
## 14500 0.7515 nan 0.0010 -0.0000
## 14520 0.7514 nan 0.0010 -0.0000
## 14540 0.7513 nan 0.0010 -0.0000
## 14560 0.7513 nan 0.0010 -0.0000
## 14580 0.7512 nan 0.0010 0.0000
## 14600 0.7511 nan 0.0010 -0.0000
## 14620 0.7510 nan 0.0010 -0.0000
## 14640 0.7509 nan 0.0010 -0.0000
## 14660 0.7509 nan 0.0010 0.0000
## 14680 0.7508 nan 0.0010 -0.0000
## 14700 0.7507 nan 0.0010 -0.0000
## 14720 0.7506 nan 0.0010 -0.0000
## 14740 0.7505 nan 0.0010 -0.0000
## 14760 0.7505 nan 0.0010 -0.0000
## 14780 0.7504 nan 0.0010 -0.0000
## 14800 0.7503 nan 0.0010 -0.0000
## 14820 0.7502 nan 0.0010 -0.0000
## 14840 0.7502 nan 0.0010 -0.0000
## 14860 0.7501 nan 0.0010 -0.0000
## 14880 0.7500 nan 0.0010 -0.0000
## 14900 0.7499 nan 0.0010 -0.0000
## 14920 0.7498 nan 0.0010 -0.0000
## 14940 0.7498 nan 0.0010 -0.0000
## 14960 0.7497 nan 0.0010 -0.0000
## 14980 0.7496 nan 0.0010 -0.0000
## 15000 0.7495 nan 0.0010 -0.0000
## 15020 0.7495 nan 0.0010 -0.0000
## 15040 0.7494 nan 0.0010 -0.0000
## 15060 0.7493 nan 0.0010 -0.0000
## 15080 0.7492 nan 0.0010 -0.0000
## 15100 0.7491 nan 0.0010 -0.0000
## 15120 0.7491 nan 0.0010 -0.0000
## 15140 0.7490 nan 0.0010 -0.0000
## 15160 0.7489 nan 0.0010 0.0000
## 15180 0.7488 nan 0.0010 -0.0000
## 15200 0.7487 nan 0.0010 -0.0000
## 15220 0.7487 nan 0.0010 0.0000
## 15240 0.7486 nan 0.0010 -0.0000
## 15260 0.7485 nan 0.0010 -0.0000
## 15280 0.7485 nan 0.0010 -0.0000
## 15300 0.7484 nan 0.0010 -0.0000
## 15320 0.7483 nan 0.0010 -0.0000
## 15340 0.7482 nan 0.0010 -0.0000
## 15360 0.7482 nan 0.0010 -0.0000
## 15380 0.7481 nan 0.0010 -0.0000
## 15400 0.7480 nan 0.0010 -0.0000
## 15420 0.7479 nan 0.0010 -0.0000
## 15440 0.7479 nan 0.0010 0.0000
## 15460 0.7478 nan 0.0010 -0.0000
## 15480 0.7477 nan 0.0010 0.0000
## 15500 0.7477 nan 0.0010 0.0000
## 15520 0.7476 nan 0.0010 -0.0000
## 15540 0.7475 nan 0.0010 -0.0000
## 15560 0.7475 nan 0.0010 -0.0000
## 15580 0.7474 nan 0.0010 -0.0000
## 15600 0.7473 nan 0.0010 -0.0000
## 15620 0.7472 nan 0.0010 -0.0000
## 15640 0.7472 nan 0.0010 -0.0000
## 15660 0.7471 nan 0.0010 0.0000
## 15680 0.7470 nan 0.0010 -0.0000
## 15700 0.7470 nan 0.0010 -0.0000
## 15720 0.7469 nan 0.0010 -0.0000
## 15740 0.7468 nan 0.0010 -0.0000
## 15760 0.7468 nan 0.0010 -0.0000
## 15780 0.7467 nan 0.0010 -0.0000
## 15800 0.7466 nan 0.0010 -0.0000
## 15820 0.7466 nan 0.0010 -0.0000
## 15840 0.7465 nan 0.0010 -0.0000
## 15860 0.7464 nan 0.0010 -0.0000
## 15880 0.7464 nan 0.0010 0.0000
## 15900 0.7463 nan 0.0010 -0.0000
## 15920 0.7462 nan 0.0010 0.0000
## 15940 0.7461 nan 0.0010 -0.0000
## 15960 0.7461 nan 0.0010 -0.0000
## 15980 0.7460 nan 0.0010 0.0000
## 16000 0.7459 nan 0.0010 -0.0000
## 16020 0.7458 nan 0.0010 -0.0000
## 16040 0.7457 nan 0.0010 -0.0000
## 16060 0.7457 nan 0.0010 -0.0000
## 16080 0.7456 nan 0.0010 -0.0000
## 16100 0.7455 nan 0.0010 -0.0000
## 16120 0.7454 nan 0.0010 0.0000
## 16140 0.7454 nan 0.0010 -0.0000
## 16160 0.7453 nan 0.0010 -0.0000
## 16180 0.7452 nan 0.0010 -0.0000
## 16200 0.7451 nan 0.0010 0.0000
## 16220 0.7451 nan 0.0010 -0.0000
## 16240 0.7450 nan 0.0010 -0.0000
## 16260 0.7449 nan 0.0010 -0.0000
## 16280 0.7449 nan 0.0010 -0.0000
## 16300 0.7448 nan 0.0010 -0.0000
## 16320 0.7447 nan 0.0010 -0.0000
## 16340 0.7446 nan 0.0010 -0.0000
## 16360 0.7446 nan 0.0010 -0.0000
## 16380 0.7445 nan 0.0010 -0.0000
## 16400 0.7445 nan 0.0010 -0.0000
## 16420 0.7444 nan 0.0010 0.0000
## 16440 0.7443 nan 0.0010 -0.0000
## 16460 0.7443 nan 0.0010 -0.0000
## 16480 0.7442 nan 0.0010 -0.0000
## 16500 0.7441 nan 0.0010 -0.0000
## 16520 0.7441 nan 0.0010 0.0000
## 16540 0.7440 nan 0.0010 -0.0000
## 16560 0.7439 nan 0.0010 0.0000
## 16580 0.7439 nan 0.0010 -0.0000
## 16600 0.7438 nan 0.0010 -0.0000
## 16620 0.7437 nan 0.0010 -0.0000
## 16640 0.7436 nan 0.0010 -0.0000
## 16660 0.7436 nan 0.0010 -0.0000
## 16680 0.7435 nan 0.0010 -0.0000
## 16700 0.7435 nan 0.0010 -0.0000
## 16720 0.7434 nan 0.0010 -0.0000
## 16740 0.7433 nan 0.0010 -0.0000
## 16760 0.7433 nan 0.0010 -0.0000
## 16780 0.7432 nan 0.0010 -0.0000
## 16800 0.7431 nan 0.0010 -0.0000
## 16820 0.7431 nan 0.0010 -0.0000
## 16840 0.7430 nan 0.0010 -0.0000
## 16860 0.7429 nan 0.0010 -0.0000
## 16880 0.7429 nan 0.0010 -0.0000
## 16900 0.7428 nan 0.0010 0.0000
## 16920 0.7427 nan 0.0010 -0.0000
## 16940 0.7427 nan 0.0010 -0.0000
## 16960 0.7426 nan 0.0010 -0.0000
## 16980 0.7425 nan 0.0010 -0.0000
## 17000 0.7425 nan 0.0010 -0.0000
## 17020 0.7424 nan 0.0010 -0.0000
## 17040 0.7423 nan 0.0010 -0.0000
## 17060 0.7423 nan 0.0010 -0.0000
## 17080 0.7422 nan 0.0010 -0.0000
## 17100 0.7421 nan 0.0010 -0.0000
## 17120 0.7420 nan 0.0010 -0.0000
## 17140 0.7420 nan 0.0010 -0.0000
## 17160 0.7419 nan 0.0010 0.0000
## 17180 0.7418 nan 0.0010 0.0000
## 17200 0.7418 nan 0.0010 -0.0000
## 17220 0.7417 nan 0.0010 -0.0000
## 17240 0.7417 nan 0.0010 -0.0000
## 17260 0.7416 nan 0.0010 -0.0000
## 17280 0.7415 nan 0.0010 -0.0000
## 17300 0.7415 nan 0.0010 -0.0000
## 17320 0.7414 nan 0.0010 -0.0000
## 17340 0.7413 nan 0.0010 -0.0000
## 17360 0.7413 nan 0.0010 -0.0000
## 17380 0.7412 nan 0.0010 -0.0000
## 17400 0.7411 nan 0.0010 -0.0000
## 17420 0.7411 nan 0.0010 -0.0000
## 17440 0.7410 nan 0.0010 -0.0000
## 17460 0.7410 nan 0.0010 -0.0000
## 17480 0.7409 nan 0.0010 -0.0000
## 17500 0.7408 nan 0.0010 -0.0000
## 17520 0.7408 nan 0.0010 -0.0000
## 17540 0.7407 nan 0.0010 -0.0000
## 17560 0.7406 nan 0.0010 -0.0000
## 17580 0.7406 nan 0.0010 -0.0000
## 17600 0.7405 nan 0.0010 -0.0000
## 17620 0.7404 nan 0.0010 -0.0000
## 17640 0.7404 nan 0.0010 -0.0000
## 17660 0.7403 nan 0.0010 -0.0000
## 17680 0.7402 nan 0.0010 -0.0000
## 17700 0.7402 nan 0.0010 -0.0000
## 17720 0.7401 nan 0.0010 0.0000
## 17740 0.7400 nan 0.0010 -0.0000
## 17760 0.7400 nan 0.0010 0.0000
## 17780 0.7399 nan 0.0010 -0.0000
## 17800 0.7399 nan 0.0010 -0.0000
## 17820 0.7398 nan 0.0010 -0.0000
## 17840 0.7397 nan 0.0010 -0.0000
## 17860 0.7396 nan 0.0010 -0.0000
## 17880 0.7396 nan 0.0010 -0.0000
## 17900 0.7395 nan 0.0010 0.0000
## 17920 0.7394 nan 0.0010 -0.0000
## 17940 0.7394 nan 0.0010 -0.0000
## 17960 0.7393 nan 0.0010 -0.0000
## 17980 0.7393 nan 0.0010 -0.0000
## 18000 0.7392 nan 0.0010 -0.0000
## 18020 0.7392 nan 0.0010 -0.0000
## 18040 0.7391 nan 0.0010 -0.0000
## 18060 0.7390 nan 0.0010 -0.0000
## 18080 0.7390 nan 0.0010 -0.0000
## 18100 0.7389 nan 0.0010 -0.0000
## 18120 0.7388 nan 0.0010 0.0000
## 18140 0.7388 nan 0.0010 -0.0000
## 18160 0.7387 nan 0.0010 -0.0000
## 18180 0.7387 nan 0.0010 -0.0000
## 18200 0.7386 nan 0.0010 0.0000
## 18220 0.7385 nan 0.0010 -0.0000
## 18240 0.7385 nan 0.0010 0.0000
## 18260 0.7384 nan 0.0010 -0.0000
## 18280 0.7384 nan 0.0010 -0.0000
## 18300 0.7383 nan 0.0010 -0.0000
## 18320 0.7382 nan 0.0010 -0.0000
## 18340 0.7382 nan 0.0010 -0.0000
## 18360 0.7381 nan 0.0010 -0.0000
## 18380 0.7381 nan 0.0010 -0.0000
## 18400 0.7380 nan 0.0010 0.0000
## 18420 0.7380 nan 0.0010 -0.0000
## 18440 0.7379 nan 0.0010 -0.0000
## 18460 0.7378 nan 0.0010 -0.0000
## 18480 0.7378 nan 0.0010 -0.0000
## 18500 0.7377 nan 0.0010 0.0000
## 18520 0.7377 nan 0.0010 -0.0000
## 18540 0.7376 nan 0.0010 -0.0000
## 18560 0.7375 nan 0.0010 -0.0000
## 18580 0.7375 nan 0.0010 -0.0000
## 18600 0.7374 nan 0.0010 -0.0000
## 18620 0.7374 nan 0.0010 0.0000
## 18640 0.7373 nan 0.0010 -0.0000
## 18660 0.7373 nan 0.0010 -0.0000
## 18680 0.7372 nan 0.0010 0.0000
## 18700 0.7371 nan 0.0010 -0.0000
## 18720 0.7371 nan 0.0010 -0.0000
## 18740 0.7370 nan 0.0010 -0.0000
## 18760 0.7370 nan 0.0010 -0.0000
## 18780 0.7369 nan 0.0010 -0.0000
## 18800 0.7369 nan 0.0010 -0.0000
## 18820 0.7368 nan 0.0010 -0.0000
## 18840 0.7368 nan 0.0010 -0.0000
## 18860 0.7367 nan 0.0010 -0.0000
## 18880 0.7366 nan 0.0010 -0.0000
## 18900 0.7366 nan 0.0010 -0.0000
## 18920 0.7365 nan 0.0010 -0.0000
## 18940 0.7365 nan 0.0010 -0.0000
## 18960 0.7364 nan 0.0010 -0.0000
## 18980 0.7363 nan 0.0010 -0.0000
## 19000 0.7363 nan 0.0010 -0.0000
## 19020 0.7362 nan 0.0010 -0.0000
## 19040 0.7362 nan 0.0010 -0.0000
## 19060 0.7361 nan 0.0010 -0.0000
## 19080 0.7361 nan 0.0010 -0.0000
## 19100 0.7360 nan 0.0010 -0.0000
## 19120 0.7360 nan 0.0010 -0.0000
## 19140 0.7359 nan 0.0010 -0.0000
## 19160 0.7359 nan 0.0010 -0.0000
## 19180 0.7358 nan 0.0010 -0.0000
## 19200 0.7358 nan 0.0010 -0.0000
## 19220 0.7357 nan 0.0010 -0.0000
## 19240 0.7357 nan 0.0010 -0.0000
## 19260 0.7356 nan 0.0010 -0.0000
## 19280 0.7356 nan 0.0010 -0.0000
## 19300 0.7355 nan 0.0010 -0.0000
## 19320 0.7355 nan 0.0010 0.0000
## 19340 0.7354 nan 0.0010 -0.0000
## 19360 0.7354 nan 0.0010 -0.0000
## 19380 0.7353 nan 0.0010 -0.0000
## 19400 0.7353 nan 0.0010 -0.0000
## 19420 0.7352 nan 0.0010 -0.0000
## 19440 0.7352 nan 0.0010 -0.0000
## 19460 0.7351 nan 0.0010 -0.0000
## 19480 0.7351 nan 0.0010 -0.0000
## 19500 0.7350 nan 0.0010 -0.0000
## 19520 0.7349 nan 0.0010 -0.0000
## 19540 0.7349 nan 0.0010 -0.0000
## 19560 0.7348 nan 0.0010 -0.0000
## 19580 0.7348 nan 0.0010 -0.0000
## 19600 0.7347 nan 0.0010 -0.0000
## 19620 0.7346 nan 0.0010 -0.0000
## 19640 0.7346 nan 0.0010 -0.0000
## 19660 0.7345 nan 0.0010 -0.0000
## 19680 0.7345 nan 0.0010 -0.0000
## 19700 0.7344 nan 0.0010 -0.0000
## 19720 0.7344 nan 0.0010 -0.0000
## 19740 0.7343 nan 0.0010 0.0000
## 19760 0.7343 nan 0.0010 -0.0000
## 19780 0.7342 nan 0.0010 -0.0000
## 19800 0.7341 nan 0.0010 0.0000
## 19820 0.7341 nan 0.0010 -0.0000
## 19840 0.7340 nan 0.0010 -0.0000
## 19860 0.7340 nan 0.0010 -0.0000
## 19880 0.7339 nan 0.0010 -0.0000
## 19900 0.7338 nan 0.0010 -0.0000
## 19920 0.7338 nan 0.0010 -0.0000
## 19940 0.7337 nan 0.0010 -0.0000
## 19960 0.7337 nan 0.0010 -0.0000
## 19980 0.7336 nan 0.0010 -0.0000
## 20000 0.7336 nan 0.0010 -0.0000
## 20020 0.7335 nan 0.0010 -0.0000
## 20040 0.7335 nan 0.0010 -0.0000
## 20060 0.7334 nan 0.0010 -0.0000
## 20080 0.7333 nan 0.0010 0.0000
## 20100 0.7333 nan 0.0010 -0.0000
## 20120 0.7332 nan 0.0010 -0.0000
## 20140 0.7332 nan 0.0010 -0.0000
## 20160 0.7331 nan 0.0010 -0.0000
## 20180 0.7331 nan 0.0010 -0.0000
## 20200 0.7330 nan 0.0010 -0.0000
## 20220 0.7329 nan 0.0010 -0.0000
## 20240 0.7329 nan 0.0010 -0.0000
## 20260 0.7328 nan 0.0010 -0.0000
## 20280 0.7328 nan 0.0010 -0.0000
## 20300 0.7327 nan 0.0010 -0.0000
## 20320 0.7327 nan 0.0010 -0.0000
## 20340 0.7326 nan 0.0010 -0.0000
## 20360 0.7326 nan 0.0010 -0.0000
## 20380 0.7325 nan 0.0010 -0.0000
## 20400 0.7325 nan 0.0010 -0.0000
## 20420 0.7324 nan 0.0010 -0.0000
## 20440 0.7323 nan 0.0010 -0.0000
## 20460 0.7323 nan 0.0010 -0.0000
## 20480 0.7322 nan 0.0010 -0.0000
## 20500 0.7322 nan 0.0010 -0.0000
## 20520 0.7321 nan 0.0010 -0.0000
## 20540 0.7320 nan 0.0010 -0.0000
## 20560 0.7320 nan 0.0010 -0.0000
## 20580 0.7320 nan 0.0010 -0.0000
## 20600 0.7319 nan 0.0010 0.0000
## 20620 0.7318 nan 0.0010 -0.0000
## 20640 0.7318 nan 0.0010 -0.0000
## 20660 0.7318 nan 0.0010 -0.0000
## 20680 0.7317 nan 0.0010 -0.0000
## 20700 0.7316 nan 0.0010 -0.0000
## 20720 0.7316 nan 0.0010 -0.0000
## 20740 0.7315 nan 0.0010 -0.0000
## 20760 0.7315 nan 0.0010 -0.0000
## 20780 0.7315 nan 0.0010 -0.0000
## 20800 0.7314 nan 0.0010 0.0000
## 20820 0.7314 nan 0.0010 -0.0000
## 20840 0.7313 nan 0.0010 -0.0000
## 20860 0.7312 nan 0.0010 -0.0000
## 20880 0.7312 nan 0.0010 -0.0000
## 20900 0.7311 nan 0.0010 -0.0000
## 20920 0.7311 nan 0.0010 -0.0000
## 20940 0.7310 nan 0.0010 -0.0000
## 20960 0.7310 nan 0.0010 -0.0000
## 20980 0.7309 nan 0.0010 -0.0000
## 21000 0.7309 nan 0.0010 -0.0000
## 21020 0.7308 nan 0.0010 -0.0000
## 21040 0.7308 nan 0.0010 -0.0000
## 21060 0.7307 nan 0.0010 -0.0000
## 21080 0.7307 nan 0.0010 -0.0000
## 21100 0.7306 nan 0.0010 -0.0000
## 21120 0.7306 nan 0.0010 0.0000
## 21140 0.7305 nan 0.0010 -0.0000
## 21160 0.7305 nan 0.0010 -0.0000
## 21180 0.7304 nan 0.0010 -0.0000
## 21200 0.7304 nan 0.0010 -0.0000
## 21220 0.7303 nan 0.0010 -0.0000
## 21240 0.7303 nan 0.0010 -0.0000
## 21260 0.7302 nan 0.0010 -0.0000
## 21280 0.7302 nan 0.0010 -0.0000
## 21300 0.7301 nan 0.0010 -0.0000
## 21320 0.7301 nan 0.0010 -0.0000
## 21340 0.7300 nan 0.0010 -0.0000
## 21360 0.7300 nan 0.0010 -0.0000
## 21380 0.7300 nan 0.0010 -0.0000
## 21400 0.7299 nan 0.0010 -0.0000
## 21420 0.7299 nan 0.0010 -0.0000
## 21440 0.7298 nan 0.0010 -0.0000
## 21460 0.7298 nan 0.0010 -0.0000
## 21480 0.7297 nan 0.0010 -0.0000
## 21500 0.7297 nan 0.0010 -0.0000
## 21520 0.7297 nan 0.0010 -0.0000
## 21540 0.7296 nan 0.0010 -0.0000
## 21560 0.7295 nan 0.0010 -0.0000
## 21580 0.7295 nan 0.0010 -0.0000
## 21600 0.7295 nan 0.0010 -0.0000
## 21620 0.7294 nan 0.0010 -0.0000
## 21640 0.7294 nan 0.0010 -0.0000
## 21660 0.7293 nan 0.0010 -0.0000
## 21680 0.7292 nan 0.0010 0.0000
## 21700 0.7292 nan 0.0010 -0.0000
## 21720 0.7292 nan 0.0010 -0.0000
## 21740 0.7291 nan 0.0010 0.0000
## 21760 0.7291 nan 0.0010 -0.0000
## 21780 0.7290 nan 0.0010 -0.0000
## 21800 0.7290 nan 0.0010 -0.0000
## 21820 0.7289 nan 0.0010 -0.0000
## 21840 0.7289 nan 0.0010 -0.0000
## 21860 0.7288 nan 0.0010 -0.0000
## 21880 0.7288 nan 0.0010 -0.0000
## 21900 0.7287 nan 0.0010 -0.0000
## 21920 0.7287 nan 0.0010 -0.0000
## 21940 0.7286 nan 0.0010 -0.0000
## 21960 0.7286 nan 0.0010 -0.0000
## 21980 0.7285 nan 0.0010 -0.0000
## 22000 0.7285 nan 0.0010 -0.0000
## 22020 0.7285 nan 0.0010 -0.0000
## 22040 0.7284 nan 0.0010 -0.0000
## 22060 0.7284 nan 0.0010 -0.0000
## 22080 0.7283 nan 0.0010 -0.0000
## 22100 0.7283 nan 0.0010 0.0000
## 22120 0.7282 nan 0.0010 -0.0000
## 22140 0.7282 nan 0.0010 -0.0000
## 22160 0.7281 nan 0.0010 -0.0000
## 22180 0.7281 nan 0.0010 -0.0000
## 22200 0.7280 nan 0.0010 -0.0000
## 22220 0.7280 nan 0.0010 -0.0000
## 22240 0.7279 nan 0.0010 -0.0000
## 22260 0.7279 nan 0.0010 -0.0000
## 22280 0.7278 nan 0.0010 -0.0000
## 22300 0.7278 nan 0.0010 -0.0000
## 22320 0.7277 nan 0.0010 -0.0000
## 22340 0.7277 nan 0.0010 -0.0000
## 22360 0.7276 nan 0.0010 -0.0000
## 22380 0.7276 nan 0.0010 -0.0000
## 22400 0.7276 nan 0.0010 -0.0000
## 22420 0.7275 nan 0.0010 -0.0000
## 22440 0.7275 nan 0.0010 -0.0000
## 22460 0.7274 nan 0.0010 -0.0000
## 22480 0.7274 nan 0.0010 -0.0000
## 22500 0.7273 nan 0.0010 -0.0000
## 22520 0.7273 nan 0.0010 -0.0000
## 22540 0.7272 nan 0.0010 -0.0000
## 22560 0.7272 nan 0.0010 -0.0000
## 22580 0.7271 nan 0.0010 -0.0000
## 22600 0.7271 nan 0.0010 -0.0000
## 22620 0.7270 nan 0.0010 -0.0000
## 22640 0.7270 nan 0.0010 0.0000
## 22660 0.7270 nan 0.0010 -0.0000
## 22680 0.7269 nan 0.0010 -0.0000
## 22700 0.7269 nan 0.0010 -0.0000
## 22720 0.7268 nan 0.0010 0.0000
## 22740 0.7268 nan 0.0010 -0.0000
## 22760 0.7267 nan 0.0010 -0.0000
## 22780 0.7267 nan 0.0010 -0.0000
## 22800 0.7267 nan 0.0010 -0.0000
## 22820 0.7266 nan 0.0010 -0.0000
## 22840 0.7266 nan 0.0010 -0.0000
## 22860 0.7265 nan 0.0010 -0.0000
## 22880 0.7265 nan 0.0010 -0.0000
## 22900 0.7264 nan 0.0010 -0.0000
## 22920 0.7264 nan 0.0010 -0.0000
## 22940 0.7263 nan 0.0010 -0.0000
## 22960 0.7263 nan 0.0010 -0.0000
## 22980 0.7262 nan 0.0010 -0.0000
## 23000 0.7262 nan 0.0010 -0.0000
## 23020 0.7261 nan 0.0010 -0.0000
## 23040 0.7261 nan 0.0010 -0.0000
## 23060 0.7261 nan 0.0010 -0.0000
## 23080 0.7260 nan 0.0010 -0.0000
## 23100 0.7260 nan 0.0010 -0.0000
## 23120 0.7259 nan 0.0010 -0.0000
## 23140 0.7259 nan 0.0010 -0.0000
## 23160 0.7258 nan 0.0010 0.0000
## 23180 0.7258 nan 0.0010 -0.0000
## 23200 0.7257 nan 0.0010 -0.0000
## 23220 0.7257 nan 0.0010 -0.0000
## 23240 0.7257 nan 0.0010 -0.0000
## 23260 0.7256 nan 0.0010 -0.0000
## 23280 0.7256 nan 0.0010 -0.0000
## 23300 0.7255 nan 0.0010 -0.0000
## 23320 0.7255 nan 0.0010 -0.0000
## 23340 0.7255 nan 0.0010 -0.0000
## 23360 0.7254 nan 0.0010 -0.0000
## 23380 0.7254 nan 0.0010 -0.0000
## 23400 0.7253 nan 0.0010 -0.0000
## 23420 0.7253 nan 0.0010 -0.0000
## 23440 0.7253 nan 0.0010 -0.0000
## 23460 0.7252 nan 0.0010 -0.0000
## 23480 0.7252 nan 0.0010 -0.0000
## 23500 0.7251 nan 0.0010 -0.0000
## 23520 0.7251 nan 0.0010 -0.0000
## 23540 0.7250 nan 0.0010 -0.0000
## 23560 0.7250 nan 0.0010 -0.0000
## 23580 0.7249 nan 0.0010 -0.0000
## 23600 0.7249 nan 0.0010 -0.0000
## 23620 0.7249 nan 0.0010 -0.0000
## 23640 0.7248 nan 0.0010 -0.0000
## 23660 0.7248 nan 0.0010 -0.0000
## 23680 0.7247 nan 0.0010 0.0000
## 23700 0.7247 nan 0.0010 -0.0000
## 23720 0.7246 nan 0.0010 -0.0000
## 23740 0.7246 nan 0.0010 -0.0000
## 23760 0.7245 nan 0.0010 -0.0000
## 23780 0.7245 nan 0.0010 -0.0000
## 23800 0.7245 nan 0.0010 -0.0000
## 23820 0.7244 nan 0.0010 -0.0000
## 23840 0.7244 nan 0.0010 -0.0000
## 23860 0.7243 nan 0.0010 -0.0000
## 23880 0.7243 nan 0.0010 -0.0000
## 23900 0.7242 nan 0.0010 -0.0000
## 23920 0.7242 nan 0.0010 -0.0000
## 23940 0.7242 nan 0.0010 -0.0000
## 23960 0.7241 nan 0.0010 -0.0000
## 23980 0.7241 nan 0.0010 -0.0000
## 24000 0.7240 nan 0.0010 -0.0000
## 24020 0.7240 nan 0.0010 -0.0000
## 24040 0.7239 nan 0.0010 -0.0000
## 24060 0.7239 nan 0.0010 -0.0000
## 24080 0.7238 nan 0.0010 -0.0000
## 24100 0.7238 nan 0.0010 -0.0000
## 24120 0.7238 nan 0.0010 0.0000
## 24140 0.7237 nan 0.0010 -0.0000
## 24160 0.7237 nan 0.0010 -0.0000
## 24180 0.7237 nan 0.0010 -0.0000
## 24200 0.7236 nan 0.0010 -0.0000
## 24220 0.7236 nan 0.0010 -0.0000
## 24240 0.7235 nan 0.0010 -0.0000
## 24260 0.7235 nan 0.0010 -0.0000
## 24280 0.7234 nan 0.0010 -0.0000
## 24300 0.7234 nan 0.0010 -0.0000
## 24320 0.7234 nan 0.0010 -0.0000
## 24340 0.7233 nan 0.0010 -0.0000
## 24360 0.7233 nan 0.0010 -0.0000
## 24380 0.7232 nan 0.0010 -0.0000
## 24400 0.7232 nan 0.0010 -0.0000
## 24420 0.7231 nan 0.0010 -0.0000
## 24440 0.7231 nan 0.0010 -0.0000
## 24460 0.7231 nan 0.0010 -0.0000
## 24480 0.7230 nan 0.0010 -0.0000
## 24500 0.7230 nan 0.0010 -0.0000
## 24520 0.7229 nan 0.0010 -0.0000
## 24540 0.7229 nan 0.0010 -0.0000
## 24560 0.7228 nan 0.0010 -0.0000
## 24580 0.7228 nan 0.0010 -0.0000
## 24600 0.7228 nan 0.0010 -0.0000
## 24620 0.7227 nan 0.0010 -0.0000
## 24640 0.7226 nan 0.0010 -0.0000
## 24660 0.7226 nan 0.0010 -0.0000
## 24680 0.7225 nan 0.0010 -0.0000
## 24700 0.7225 nan 0.0010 -0.0000
## 24720 0.7225 nan 0.0010 -0.0000
## 24740 0.7224 nan 0.0010 -0.0000
## 24760 0.7224 nan 0.0010 -0.0000
## 24780 0.7223 nan 0.0010 -0.0000
## 24800 0.7223 nan 0.0010 -0.0000
## 24820 0.7223 nan 0.0010 -0.0000
## 24840 0.7222 nan 0.0010 -0.0000
## 24860 0.7222 nan 0.0010 -0.0000
## 24880 0.7221 nan 0.0010 -0.0000
## 24900 0.7221 nan 0.0010 -0.0000
## 24920 0.7220 nan 0.0010 -0.0000
## 24940 0.7220 nan 0.0010 -0.0000
## 24960 0.7220 nan 0.0010 -0.0000
## 24980 0.7219 nan 0.0010 -0.0000
## 25000 0.7219 nan 0.0010 -0.0000
## 25020 0.7218 nan 0.0010 -0.0000
## 25040 0.7218 nan 0.0010 -0.0000
## 25060 0.7218 nan 0.0010 -0.0000
## 25080 0.7217 nan 0.0010 -0.0000
## 25100 0.7217 nan 0.0010 -0.0000
## 25120 0.7216 nan 0.0010 0.0000
## 25140 0.7216 nan 0.0010 -0.0000
## 25160 0.7215 nan 0.0010 -0.0000
## 25180 0.7215 nan 0.0010 -0.0000
## 25200 0.7215 nan 0.0010 -0.0000
## 25220 0.7214 nan 0.0010 -0.0000
## 25240 0.7214 nan 0.0010 -0.0000
## 25260 0.7214 nan 0.0010 -0.0000
## 25280 0.7213 nan 0.0010 -0.0000
## 25300 0.7213 nan 0.0010 -0.0000
## 25320 0.7212 nan 0.0010 -0.0000
## 25340 0.7212 nan 0.0010 -0.0000
## 25360 0.7211 nan 0.0010 -0.0000
## 25380 0.7211 nan 0.0010 -0.0000
## 25400 0.7211 nan 0.0010 -0.0000
## 25420 0.7210 nan 0.0010 -0.0000
## 25440 0.7210 nan 0.0010 -0.0000
## 25460 0.7209 nan 0.0010 -0.0000
## 25480 0.7209 nan 0.0010 -0.0000
## 25500 0.7209 nan 0.0010 -0.0000
## 25520 0.7208 nan 0.0010 -0.0000
## 25540 0.7208 nan 0.0010 -0.0000
## 25560 0.7207 nan 0.0010 -0.0000
## 25580 0.7207 nan 0.0010 -0.0000
## 25600 0.7207 nan 0.0010 -0.0000
## 25620 0.7206 nan 0.0010 -0.0000
## 25640 0.7206 nan 0.0010 -0.0000
## 25660 0.7205 nan 0.0010 -0.0000
## 25680 0.7205 nan 0.0010 -0.0000
## 25700 0.7204 nan 0.0010 -0.0000
## 25720 0.7204 nan 0.0010 -0.0000
## 25740 0.7204 nan 0.0010 -0.0000
## 25760 0.7203 nan 0.0010 -0.0000
## 25780 0.7203 nan 0.0010 -0.0000
## 25800 0.7203 nan 0.0010 -0.0000
## 25820 0.7202 nan 0.0010 -0.0000
## 25840 0.7202 nan 0.0010 -0.0000
## 25860 0.7201 nan 0.0010 -0.0000
## 25880 0.7201 nan 0.0010 -0.0000
## 25900 0.7201 nan 0.0010 -0.0000
## 25920 0.7200 nan 0.0010 -0.0000
## 25940 0.7200 nan 0.0010 -0.0000
## 25960 0.7199 nan 0.0010 -0.0000
## 25980 0.7199 nan 0.0010 -0.0000
## 26000 0.7199 nan 0.0010 -0.0000
## 26020 0.7198 nan 0.0010 -0.0000
## 26040 0.7198 nan 0.0010 -0.0000
## 26060 0.7197 nan 0.0010 -0.0000
## 26080 0.7197 nan 0.0010 -0.0000
## 26100 0.7197 nan 0.0010 -0.0000
## 26120 0.7196 nan 0.0010 -0.0000
## 26140 0.7196 nan 0.0010 -0.0000
## 26160 0.7195 nan 0.0010 -0.0000
## 26180 0.7195 nan 0.0010 -0.0000
## 26200 0.7194 nan 0.0010 -0.0000
## 26220 0.7194 nan 0.0010 -0.0000
## 26240 0.7193 nan 0.0010 -0.0000
## 26260 0.7193 nan 0.0010 -0.0000
## 26280 0.7193 nan 0.0010 -0.0000
## 26300 0.7192 nan 0.0010 -0.0000
## 26320 0.7192 nan 0.0010 -0.0000
## 26340 0.7192 nan 0.0010 -0.0000
## 26360 0.7191 nan 0.0010 -0.0000
## 26380 0.7191 nan 0.0010 -0.0000
## 26400 0.7190 nan 0.0010 -0.0000
## 26420 0.7190 nan 0.0010 -0.0000
## 26440 0.7190 nan 0.0010 -0.0000
## 26460 0.7189 nan 0.0010 -0.0000
## 26480 0.7189 nan 0.0010 -0.0000
## 26500 0.7189 nan 0.0010 -0.0000
## 26520 0.7188 nan 0.0010 -0.0000
## 26540 0.7188 nan 0.0010 -0.0000
## 26560 0.7187 nan 0.0010 -0.0000
## 26580 0.7187 nan 0.0010 -0.0000
## 26600 0.7187 nan 0.0010 -0.0000
## 26620 0.7186 nan 0.0010 -0.0000
## 26640 0.7186 nan 0.0010 -0.0000
## 26660 0.7185 nan 0.0010 -0.0000
## 26680 0.7185 nan 0.0010 -0.0000
## 26700 0.7185 nan 0.0010 -0.0000
## 26720 0.7184 nan 0.0010 -0.0000
## 26740 0.7184 nan 0.0010 -0.0000
## 26760 0.7184 nan 0.0010 -0.0000
## 26780 0.7183 nan 0.0010 -0.0000
## 26800 0.7183 nan 0.0010 -0.0000
## 26820 0.7182 nan 0.0010 -0.0000
## 26840 0.7182 nan 0.0010 -0.0000
## 26860 0.7182 nan 0.0010 -0.0000
## 26880 0.7181 nan 0.0010 -0.0000
## 26900 0.7181 nan 0.0010 -0.0000
## 26920 0.7181 nan 0.0010 -0.0000
## 26940 0.7180 nan 0.0010 -0.0000
## 26960 0.7180 nan 0.0010 -0.0000
## 26980 0.7179 nan 0.0010 -0.0000
## 27000 0.7179 nan 0.0010 -0.0000
## 27020 0.7179 nan 0.0010 -0.0000
## 27040 0.7178 nan 0.0010 -0.0000
## 27060 0.7178 nan 0.0010 -0.0000
## 27080 0.7177 nan 0.0010 -0.0000
## 27100 0.7177 nan 0.0010 -0.0000
## 27120 0.7177 nan 0.0010 -0.0000
## 27140 0.7176 nan 0.0010 -0.0000
## 27160 0.7176 nan 0.0010 -0.0000
## 27180 0.7175 nan 0.0010 -0.0000
## 27200 0.7175 nan 0.0010 -0.0000
## 27220 0.7175 nan 0.0010 -0.0000
## 27240 0.7174 nan 0.0010 -0.0000
## 27260 0.7174 nan 0.0010 -0.0000
## 27280 0.7174 nan 0.0010 -0.0000
## 27300 0.7173 nan 0.0010 -0.0000
## 27320 0.7173 nan 0.0010 -0.0000
## 27340 0.7172 nan 0.0010 -0.0000
## 27360 0.7172 nan 0.0010 -0.0000
## 27380 0.7172 nan 0.0010 0.0000
## 27400 0.7171 nan 0.0010 -0.0000
## 27420 0.7171 nan 0.0010 -0.0000
## 27440 0.7170 nan 0.0010 -0.0000
## 27460 0.7170 nan 0.0010 -0.0000
## 27480 0.7170 nan 0.0010 -0.0000
## 27500 0.7169 nan 0.0010 -0.0000
## 27520 0.7169 nan 0.0010 -0.0000
## 27540 0.7169 nan 0.0010 -0.0000
## 27560 0.7168 nan 0.0010 -0.0000
## 27580 0.7168 nan 0.0010 -0.0000
## 27600 0.7167 nan 0.0010 -0.0000
## 27620 0.7167 nan 0.0010 -0.0000
## 27640 0.7167 nan 0.0010 -0.0000
## 27660 0.7166 nan 0.0010 -0.0000
## 27680 0.7166 nan 0.0010 -0.0000
## 27700 0.7165 nan 0.0010 -0.0000
## 27720 0.7165 nan 0.0010 -0.0000
## 27740 0.7164 nan 0.0010 -0.0000
## 27760 0.7164 nan 0.0010 -0.0000
## 27780 0.7164 nan 0.0010 -0.0000
## 27800 0.7163 nan 0.0010 -0.0000
## 27820 0.7163 nan 0.0010 -0.0000
## 27840 0.7162 nan 0.0010 -0.0000
## 27860 0.7162 nan 0.0010 -0.0000
## 27880 0.7162 nan 0.0010 -0.0000
## 27900 0.7161 nan 0.0010 -0.0000
## 27920 0.7161 nan 0.0010 -0.0000
## 27940 0.7161 nan 0.0010 -0.0000
## 27960 0.7160 nan 0.0010 -0.0000
## 27980 0.7160 nan 0.0010 -0.0000
## 28000 0.7159 nan 0.0010 -0.0000
## 28020 0.7159 nan 0.0010 -0.0000
## 28040 0.7159 nan 0.0010 -0.0000
## 28060 0.7158 nan 0.0010 -0.0000
## 28080 0.7158 nan 0.0010 -0.0000
## 28100 0.7158 nan 0.0010 -0.0000
## 28120 0.7157 nan 0.0010 -0.0000
## 28140 0.7157 nan 0.0010 -0.0000
## 28160 0.7157 nan 0.0010 -0.0000
## 28180 0.7156 nan 0.0010 -0.0000
## 28200 0.7156 nan 0.0010 -0.0000
## 28220 0.7156 nan 0.0010 -0.0000
## 28240 0.7155 nan 0.0010 -0.0000
## 28260 0.7155 nan 0.0010 -0.0000
## 28280 0.7155 nan 0.0010 -0.0000
## 28300 0.7154 nan 0.0010 -0.0000
## 28320 0.7154 nan 0.0010 -0.0000
## 28340 0.7154 nan 0.0010 -0.0000
## 28360 0.7153 nan 0.0010 -0.0000
## 28380 0.7153 nan 0.0010 -0.0000
## 28400 0.7153 nan 0.0010 0.0000
## 28420 0.7152 nan 0.0010 -0.0000
## 28440 0.7152 nan 0.0010 -0.0000
## 28460 0.7152 nan 0.0010 -0.0000
## 28480 0.7151 nan 0.0010 -0.0000
## 28500 0.7151 nan 0.0010 -0.0000
## 28520 0.7151 nan 0.0010 -0.0000
## 28540 0.7150 nan 0.0010 -0.0000
## 28560 0.7150 nan 0.0010 -0.0000
## 28580 0.7149 nan 0.0010 -0.0000
## 28600 0.7149 nan 0.0010 -0.0000
## 28620 0.7149 nan 0.0010 -0.0000
## 28640 0.7148 nan 0.0010 -0.0000
## 28660 0.7148 nan 0.0010 -0.0000
## 28680 0.7148 nan 0.0010 -0.0000
## 28700 0.7147 nan 0.0010 -0.0000
## 28720 0.7147 nan 0.0010 -0.0000
## 28740 0.7146 nan 0.0010 -0.0000
## 28760 0.7146 nan 0.0010 -0.0000
## 28780 0.7146 nan 0.0010 -0.0000
## 28800 0.7145 nan 0.0010 -0.0000
## 28820 0.7145 nan 0.0010 -0.0000
## 28840 0.7145 nan 0.0010 -0.0000
## 28860 0.7144 nan 0.0010 -0.0000
## 28880 0.7144 nan 0.0010 -0.0000
## 28900 0.7143 nan 0.0010 -0.0000
## 28920 0.7143 nan 0.0010 -0.0000
## 28940 0.7143 nan 0.0010 -0.0000
## 28960 0.7142 nan 0.0010 -0.0000
## 28980 0.7142 nan 0.0010 -0.0000
## 29000 0.7142 nan 0.0010 -0.0000
## 29020 0.7141 nan 0.0010 -0.0000
## 29040 0.7141 nan 0.0010 -0.0000
## 29060 0.7141 nan 0.0010 -0.0000
## 29080 0.7140 nan 0.0010 -0.0000
## 29100 0.7140 nan 0.0010 -0.0000
## 29120 0.7140 nan 0.0010 0.0000
## 29140 0.7139 nan 0.0010 -0.0000
## 29160 0.7139 nan 0.0010 -0.0000
## 29180 0.7139 nan 0.0010 -0.0000
## 29200 0.7138 nan 0.0010 -0.0000
## 29220 0.7138 nan 0.0010 -0.0000
## 29240 0.7137 nan 0.0010 -0.0000
## 29260 0.7137 nan 0.0010 -0.0000
## 29280 0.7137 nan 0.0010 -0.0000
## 29300 0.7136 nan 0.0010 -0.0000
## 29320 0.7136 nan 0.0010 -0.0000
## 29340 0.7136 nan 0.0010 -0.0000
## 29360 0.7135 nan 0.0010 -0.0000
## 29380 0.7135 nan 0.0010 -0.0000
## 29400 0.7134 nan 0.0010 -0.0000
## 29420 0.7134 nan 0.0010 -0.0000
## 29440 0.7134 nan 0.0010 -0.0000
## 29460 0.7133 nan 0.0010 -0.0000
## 29480 0.7133 nan 0.0010 -0.0000
## 29500 0.7133 nan 0.0010 -0.0000
## 29520 0.7132 nan 0.0010 -0.0000
## 29540 0.7132 nan 0.0010 -0.0000
## 29560 0.7132 nan 0.0010 -0.0000
## 29580 0.7132 nan 0.0010 -0.0000
## 29600 0.7131 nan 0.0010 -0.0000
## 29620 0.7131 nan 0.0010 0.0000
## 29640 0.7131 nan 0.0010 -0.0000
## 29660 0.7130 nan 0.0010 -0.0000
## 29680 0.7130 nan 0.0010 -0.0000
## 29700 0.7129 nan 0.0010 -0.0000
## 29720 0.7129 nan 0.0010 -0.0000
## 29740 0.7129 nan 0.0010 -0.0000
## 29760 0.7128 nan 0.0010 -0.0000
## 29780 0.7128 nan 0.0010 -0.0000
## 29800 0.7128 nan 0.0010 -0.0000
## 29820 0.7127 nan 0.0010 -0.0000
## 29840 0.7127 nan 0.0010 -0.0000
## 29860 0.7127 nan 0.0010 -0.0000
## 29880 0.7126 nan 0.0010 -0.0000
## 29900 0.7126 nan 0.0010 -0.0000
## 29920 0.7126 nan 0.0010 -0.0000
## 29940 0.7125 nan 0.0010 -0.0000
## 29960 0.7125 nan 0.0010 0.0000
## 29980 0.7125 nan 0.0010 -0.0000
## 30000 0.7124 nan 0.0010 -0.0000가장 적합한 반복 시행횟수는 다음 코드를 통해 구할 수 있다.
(best_iter <- gbm.perf(wine.gbm, method="cv"))
## [1] 29880다행히도 총 시행횟수인 3만회보다 적은 29880회가 적합함을 알 수 있다.
8 - 4 - 2. Boost 모델 검증
# 8 - 3 - 2. 모형평가 --------
y_obs <- ifelse(validation$quality == "Good", 1, 0)
yhat_gbm <- predict(wine.gbm,
n.trees = best_iter,
newdata = validation,
type = "response")
pred_gbm <- prediction(yhat_gbm, y_obs)
perf_gbm <- performance(pred_gbm,
measure = "tpr",
x.measure = "fpr")
# 이항편차
binomial_deviance(y_obs, yhat_glm) # GLM## [1] 881.1437binomial_deviance(y_obs, yhat_rf) # Random Forest## [1] 594.6692binomial_deviance(y_obs, yhat_gbm) # gbm## [1] 791.4626ROC Curve
plot(perf_glm,
col='black')
abline(0,1)
plot(perf_rf,
col = "green",
add = T)
plot(perf_gbm,
col = "red",
add = T)
legend("bottomright",
inset = .1,
legend = c("GLM", "Random Forest", "Boost"),
col = c("black", "green", "red"),
lty = 1, lwd = 2)
AUC Value
performance(pred_glm, "auc")@y.values[[1]] # GLM## [1] 0.7794896performance(pred_rf, "auc")@y.values[[1]] # Random Forest## [1] 0.9159041performance(pred_gbm, "auc")@y.values[[1]] # gbm## [1] 0.84094699. 전체 모델 성능 비교 및 최종 분석 모델 채택
pairs(data.frame(y_obs = y_obs,
yhat_glm = yhat_glm,
yhat_rf = yhat_rf,
yhat_gbm = yhat_gbm),
lower.panel = function(x, y){ points(x, y); abline(0, 1, col = "red")},
upper.panel = panel.cor)
위의 결과를 통해서 세 모델 중 실제 예측력은 Random Forest 모델이 가장 좋고(0.69) glm 모델과 Boost 모델의 예측력이 상당히 유사함(0.87)을 알 수 있다.
아래 코드를 통해 테이블 형태로 모델간의 성능을 비교해볼 수 있다.
Model.Name <- c("glm", "Random Forest", "Boost")
D <- c(binomial_deviance(y_obs, yhat_glm), # Logistic
binomial_deviance(y_obs, yhat_rf), # Random Forest
binomial_deviance(y_obs, yhat_gbm)) # Boost
AUC.Value <- c(performance(pred_glm, "auc")@y.values[[1]], # Logistic
performance(pred_rf, "auc")@y.values[[1]], # Random Forest
performance(pred_gbm, "auc")@y.values[[1]]) # Boost
Val.DF <- data.frame(Model.Name, D, AUC.Value)
Val.DF## Model.Name D AUC.Value
## 1 glm 881.1437 0.7794896
## 2 Random Forest 594.6692 0.9159041
## 3 Boost 791.4626 0.8409469위의 결과를 통해 이항편차가 가장 낮고, AUC 값이 가장 큰 랜덤 포레스트 모형을 선택한다.
10. 최종 모델(Random Forest)과 Test Data Set 을 이용한 일반화 능력 검증
set.seed(1802)
y_obs_test <- ifelse(test$quality == "Good", 1, 0)
yhat_rf_test <- predict(wine.rf,
newdata = test,
type = "Prob")[, "Good"]
# 이항편차
binomial_deviance(y_obs_test, yhat_rf_test)## [1] 675.5801# AUC
pred_rf_test <- prediction(yhat_rf_test, y_obs_test)
performance(pred_rf_test, "auc")@y.values[[1]]## [1] 0.881785111. Reference
- 머신러닝 엔지니어가 알아야 할 10가지 알고리즘
- 따라하며 배우는 데이터 과학 (권재명 지음, 제이펍 출판)
- 초보자를 위한 RStudio 마스터 (줄리안 힐레브란트, 막시밀리안 니어호프 저 / 고석범 역, 에이콘출판사 출판)
- 딥러닝 첫걸음 (김성필 지음, 한빛미디어 출판)