Giới thiệu package rsample
Lê Ngọc Khả Nhi
21 Tháng 5 2018
1 Giới thiệu
Tái chọn mẫu ngẫu nhiên là một chủ đề không mới trong môn Thống kê, tuy nhiên gần đây nó có tính « thời sự » hơn khi Machine learning trở thành một công cụ suy diễn thống kê mới. Tái chọn mẫu giữ cho các mô hình thống kê được an toàn trước nguy cơ « overfiting » và được khuyến cáo nên áp dụng thường quy cho mọi phân tích (suy đến cùng, thống kê cổ điển cũng chính là các mô hình).
Một quy trình dựng mô hình hiện đại bao gồm 2 công đoạn : Tái chọn mẫu trên tập dữ liệu riêng (Trainset) và Kiểm chứng độc lập trên tập dữ liệu khác (Testset).
Trước kia, những phương pháp tái chọn mẫu như Bootstrap, K-folds Crossvalidation, Monte Carlo … ít được thực hiện đại trà, một phần do chủ quan, nhưng nguyên nhân chính là do sự phức tạp của chúng. Chỉ có người làm Stats chuyên nghiệp mới có khả năng viết R function để làm các quy trình này. Chưa có một chuẩn phổ quát trong R cho phép người dùng thiết lập, tùy chỉnh và kiểm soát toàn bộ các quy trình tái chọn mẫu.
2 Package rsample
Một lần nữa, hai tác giả Max Kuhn và Hadley Wickham lại cùng nhau giải quyết vấn đề này. Họ đã tạo ra một package rất tiện dụng có tên là rsample mà Nhi sẽ giới thiệu với các bạn trong bài hôm nay. Thực ra, bản chất của mọi quy trình tái chọn mẫu rất đơn giản : mục tiêu của chúng ta là tạo ra nhiều phiên bản dữ liệu bằng cách rút ngẫu nhiên các phần tử từ tập dữ liệu gốc. Mô hình/phân tích thống kê sẽ được dựng trên mỗi phiên bản này, từ đó một chuỗi kết quả sẽ được khảo sát để lượng giá kích thước hiệu ứng, phẩm chất/độ tin cậy của mô hình…
Bước đầu tiên của tái chọn mẫu là lập ra một danh sách mô tả chi tiết về các phiên bản dữ liệu này, bao gồm : số lượt lấy mẫu (bao nhiêu phiên bản sẽ được tạo ra), mỗi phần tử có thể xuất hiện nhiều lần hay không (bootstrap= chọn mẫu có lặp lại), có dành một phần để kiểm định hay không ? (và tỉ lệ bao nhiêu ? ), cấu trúc khối (kiểm chứng chéo K khối), có bảo toàn tỉ lệ phân bố của một biến nào đó hay không ? (thí dụ phân vị của 1 biến kết quả liên tục, tỉ lệ 2 nhãn giá trị của 1 biến kết quả nhị phân). Chính những đòi hỏi kỹ thuật chi tiết nhỏ nhặt này làm khó người dùng R, vì họ phải viết function để đáp ứng đồng thời yêu cầu về tính ngẫu nhiên và các điều kiện kèm theo.
Package rsample được tạo ra để giải quyết công đoạn khó nhất này, nó tạo ra một nền tảng phổ quát, cho phép người dùng kiểm soát đến từng chi tiết của tất cả quy trình tái chọn mẫu bằng những hàm có cú pháp tương tự. Chỉ 1 dòng code, ta có thể tạo danh sách tái chọn mẫu. Danh sách dữ liệu này lại có cấu trúc đồng nhất cho mọi quy trình, gắn kết dễ dàng với những hàm tiện ích khác từ broom, purrr, vv. và có thể dùng để lưu trữ trực tiếp kết quả thống kê/kiểm định mô hình từ một hàm map().
3 Thí dụ minh họa: dữ liệu hypothyroid
Trước khi bắt đầu, Nhi sẽ tải về máy dữ liệu Hypothyroid (bệnh Suy nhược tuyến giáp) của viện Garvan (Úc), gồm hơn 2000 bệnh nhân.
NHi sẽ dùng caret để cắt ngẫu nhiên dữ liệu gốc thành 2 phần với tỉ lệ 80% và 20% : Phần lớn (trainset) sẽ dùng cho phân tích của chúng ta :
library(tidyverse)
df=read.csv("https://www.openml.org/data/get_csv/53534/hypothyroid.csv",na.strings = "?")
df=df%>%dplyr::select(TSH,T3,TT4,T4U,FTI,binaryClass)%>%na.omit()
# Spliting
idx=caret::createDataPartition(y=df$binaryClass, p=0.8,list=FALSE)
trainset=df[idx,]
testset=df[-idx,]
trainset%>%head(5)%>%knitr::kable()| TSH | T3 | TT4 | T4U | FTI | binaryClass | |
|---|---|---|---|---|---|---|
| 1 | 1.30 | 2.5 | 125 | 1.14 | 109 | P |
| 5 | 0.72 | 1.2 | 61 | 0.87 | 70 | P |
| 9 | 0.60 | 2.2 | 123 | 0.93 | 132 | P |
| 10 | 2.40 | 1.6 | 83 | 0.89 | 93 | P |
| 11 | 1.10 | 2.2 | 115 | 0.95 | 121 | P |
4 Cấu trúc danh sách tái chọn mẫu
Đầu tiên, Nhi giả định ta muốn tạo ra một danh sách tái chọn mẫu sử dụng phương pháp Bootstrap. Package rsample cho phép làm điều này cực kì đơn giản, với 1 dòng code duy nhất bằng hàm bootstraps
library(rsample)
# A rsample object
set.seed(2105)
boot_obj<-bootstraps(trainset,times = 10,strata="binaryClass")Nhi vừa áp dụng một quy trình bootstrap ngắn, với 10 lượt tái chọn mẫu, trên tập trainset, với điều kiện phụ là bảo toàn tỉ lệ biến binaryClass, và lưu danh sách phiên bản dữ liệu vào 1 object có tên là boot_obj
Ta biết rằng tập trainset có kích thước 177 Kb
library(mlbench)
library(pryr)##
## Attaching package: 'pryr'## The following objects are masked from 'package:purrr':
##
## compose, partialobject_size(trainset)## 177 kBobject danh sách dữ liệu tái chọn mẫu có kích thước là 277 Kb (kích thước này sẽ tỉ lệ với số lượt lấy mẫu)
object_size(boot_obj)## 277 kBNhư vậy mỗi phiên bản dữ liệu trong 1 lượt lấy mẫu chỉ có kích thước là 27.7 kb, rất nhỏ.
object_size(boot_obj)/nrow(boot_obj)## 27.7 kBVới 10 lượt lấy mẫu, kích thước của danh sách so với dữ liệu gốc chỉ tăng gấp rưỡi
(object_size(boot_obj)/object_size(trainset))%>%as.numeric()## [1] 1.560318Bây giờ, ta sẽ tìm hiểu cấu trúc bên trong object danh sách này nhé:
Đây là một cấu trúc dữ liệu 2 chiều, mỗi hàng tương ứng với 1 lượt bootstrap, nó có 2 cột, cột splits là một list, chứa tập dữ liệu được rút ngẫu nhiên từ trainset, cột id có vai trò định danh.
boot_obj## # Bootstrap sampling using stratification
## # A tibble: 10 x 2
## splits id
## <list> <chr>
## 1 <S3: rsplit> Bootstrap01
## 2 <S3: rsplit> Bootstrap02
## 3 <S3: rsplit> Bootstrap03
## 4 <S3: rsplit> Bootstrap04
## 5 <S3: rsplit> Bootstrap05
## 6 <S3: rsplit> Bootstrap06
## 7 <S3: rsplit> Bootstrap07
## 8 <S3: rsplit> Bootstrap08
## 9 <S3: rsplit> Bootstrap09
## 10 <S3: rsplit> Bootstrap10Ta thử trích 3 hàng đầu tiên của splits, và nhận thông tin như sau:
boot_obj$splits[c(1:3)]## $`1`
## <2203/800/2203>
##
## $`2`
## <2203/785/2203>
##
## $`3`
## <2203/819/2203>3 con số này lần lượt có tên là: analysis = tập dữ liệu chính, dùng để dựng mô hình, assessment = tập dữ liệu dùng kiểm định mô hình (chúng có nội dung hoàn toàn độc lập), và cuối cùng là tập dữ liệu gốc = trainset.
Như ta biết, quy trình bootstrap tạo ra một phiên bản dữ liệu có cùng kích thước với dữ liệu gốc, nhưng chứa những phần tử được rút ngẫu nhiên và có lặp lại từ dữ liệu gốc này. Đó là ý nghĩa con số 2203 = tập analysis; package rsample còn đi xa hơn, khi không chỉ làm bootstrap cho phân tích chính/mô hình mà còn bootstrap lần thứ 2 để tạo ra 1 tập kiểm định nhỏ độc lập với tập analysis, tập kiểm định assessment này chứa khoảng 800 phần tử.
Tiếp theo mới là điều thú vị: khi áp dụng hàm analysis trên 1 hàng của object danh sách, nó sẽ trích xuất phiên bản dữ liệu (tập analysis)
boot_obj$splits[[1]]%>%analysis()%>%head(5)%>%knitr::kable()| TSH | T3 | TT4 | T4U | FTI | binaryClass | |
|---|---|---|---|---|---|---|
| 1 | 1.3 | 2.5 | 125 | 1.14 | 109 | P |
| 9 | 0.6 | 2.2 | 123 | 0.93 | 132 | P |
| 9.1 | 0.6 | 2.2 | 123 | 0.93 | 132 | P |
| 10 | 2.4 | 1.6 | 83 | 0.89 | 93 | P |
| 10.1 | 2.4 | 1.6 | 83 | 0.89 | 93 | P |
Tương tự, hàm assessment sẽ trích xuất phiên bản dữ liệu kiểm định:
boot_obj$splits[[2]]%>%assessment()%>%head(5)%>%knitr::kable()| TSH | T3 | TT4 | T4U | FTI | binaryClass | |
|---|---|---|---|---|---|---|
| 1 | 1.300 | 2.5 | 125 | 1.14 | 109 | P |
| 15 | 3.300 | 1.8 | 109 | 0.91 | 119 | P |
| 29 | 1.900 | 1.5 | 113 | 1.06 | 106 | P |
| 31 | 0.035 | 2.5 | 119 | 1.55 | 76 | P |
| 34 | 1.700 | 1.9 | 95 | 1.05 | 90 | P |
Như vậy, bạn cũng có thể hình dung ta sẽ khai thác object danh sách này như thế nào khi dựng và kiểm định mô hình hàng loạt, thí dụ bằng hàm map hay vòng lặp for loop.
Ta kiểm tra thêm 1 chi tiết nữa, đó là điều kiện bảo toàn tỉ lệ biến kết quả (binaryClass): tỉ lệ này là như nhau ở mỗi phiên bản dữ liệu, và bằng với tỉ lệ trong tập trainset
boot_obj$splits[[5]]%>%as.data.frame()%>%.$binaryClass%>%table()## .
## N P
## 188 2015table(trainset$binaryClass)##
## N P
## 179 2024Thật không tệ ! Ta có thể yên tâm khi áp dụng quy trình này cho những bài toán với data imbalance.
5 Ứng dụng so sánh
Đầu tiên, Nhi sẽ minh họa một phân tích so sánh bằng bootstrap.
Nhi viết 1 function để tính khác biệt trung vị của biến TT4 giữa 2 phân nhóm P và N, áp dụng cho mỗi lượt bootstrap
Thử function này trên trainset, nó chạy tốt:
# A simple comparison
med_diff <- function(splits,target="TT4") {
temp<- analysis(splits)
res<-temp%>%group_by(binaryClass)%>%summarise_at(target,mean,na.rm=T)
median(res[2,2]%>%as.numeric())-median((res[1,2]%>%as.numeric()))
}
med_diff(trainset,"TT4")## [1] 42.97813Sau đó, chỉ với 2 dòng code, ta có thể làm một so sánh trung vị bằng bootstrap 1000 lần:
set.seed(2105)
bigboot <- bootstraps(trainset,times=1000)
bigboot$TT4_meddif<- map_dbl(bigboot$splits,med_diff)Như bạn thấy, Nhi tạo danh sách dữ liệu bigboot trước, sau đó dùng chính danh sách này để lưu kết quả khác biệt trung vị bằng 1 hàm map của package purrr. Rất đơn giản, nhanh chóng
Tiếp theo ta có thể làm gì tùy thích, thí dụ tính 97.5%CI của khác biệt trung vị
quantile(bigboot$TT4_meddif,
probs = c(0.025, 0.05, 0.500, 0.95,0.975))## 2.5% 5% 50% 95% 97.5%
## 37.62887 38.47300 43.00951 47.44953 48.21423Hay làm một phản nghiệm với ngưỡng null hypothesis là +35
threshold = +35
WVPlots::ShadedDensity(bigboot,"TT4_meddif", threshold,
title="threshold= +35")+theme_bw()
Hay vẽ density plot cho kết quả bootstrap
bigboot%>%mutate(group=rep(c(1:10),100))%>%
ggplot(aes(x=TT4_meddif,col=factor(group)))+
geom_density(alpha=0.02,fill="red",show.legend = F)+
scale_color_brewer(palette="Reds")+
geom_vline(xintercept=35,linetype=2,col="black")+
theme_bw()## Warning in RColorBrewer::brewer.pal(n, pal): n too large, allowed maximum for palette Reds is 9
## Returning the palette you asked for with that many colors
6 Bootstrap một mô hình tuyến tính
Bây giờ ta sẽ phức tạp hóa vấn đề lên một chút, cũng là so sánh TT4 giữa 2 phân nhóm P/N nhưng qua 1 mô hình hồi quy tuyến tính bằng hàm glm()
Mô hình so sánh có dạng: TT4 ~ binaryClass -1
Ta viết 1 hàm glm_coefs cho phép trích xuất coefficients của mô hình này, cho mỗi lượt bootstrap.
Sau đó gắn hàm này vào danh sách bigboot bằng 1 hàm map
# Model
mod_form=as.formula(TT4~binaryClass-1)
glm_coefs <- function(splits, ...) {
mod <- glm(..., data = analysis(splits),family="gaussian")
as.data.frame(t(coef(mod)))
}
coefs <- map(.x = bigboot$splits,
.f = glm_coefs,
mod_form)object coefs là 1 list, nên hàm lapply cho phép trích xuất kết quả của 2 vectors phân nhóm P,N thật đơn giản:
coefdat=data_frame(Group=rep(c(1:10),100),
ClassN=lapply(coefs,`[[`, "binaryClassN")%>%as.numeric(),
ClassP=lapply(coefs,`[[`, "binaryClassP")%>%as.numeric())
library(ggridges)
coefdat%>%gather(ClassN,ClassP,key="Coef",value="Estimated")%>%
ggplot(aes(y=Coef,x=Estimated,col=factor(Group)))+
geom_density_ridges(alpha=0.02,fill="red",show.legend = F)+
scale_color_brewer(palette="Reds")+
theme_bw()## Picking joint bandwidth of 0.553## Warning in RColorBrewer::brewer.pal(n, pal): n too large, allowed maximum for palette Reds is 9
## Returning the palette you asked for with that many colors
Ta vừa mới khảo sát trung bình TT4 cho mỗi phân nhóm P/N trên 1000 phiên bản dữ liệu.
7 Kiểm chứng chéo lặp lại 10x10
Trong 2 thí dụ nêu trên, ta chỉ mới dùng đến tập analysis trong danh sách bootstrap. Thí dụ sau đây Nhi sẽ thử một phương pháp tái chọn mẫu khác là K_folds cross validation, với cấu trúc 10x10
Giả định ta muốn dựng 1 mô hình logistic để phân loại 2 nhãn P/N dựa vào2 predictors là TSH và FTI
Ta có thể dùng toàn bộ tập trainset
# cross validation a logistic
trainset$Class=as.numeric(trainset$binaryClass)-1
lmod0=glm(data=trainset,binaryClass~TSH+FTI,family="binomial")## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurredsummary(lmod0)##
## Call:
## glm(formula = binaryClass ~ TSH + FTI, family = "binomial", data = trainset)
##
## Deviance Residuals:
## Min 1Q Median 3Q Max
## -2.8503 0.1514 0.2208 0.2866 7.6591
##
## Coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) 0.542680 0.523932 1.036 0.3
## TSH -0.211228 0.019724 -10.709 < 2e-16 ***
## FTI 0.031448 0.005226 6.018 1.77e-09 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## (Dispersion parameter for binomial family taken to be 1)
##
## Null deviance: 1241.69 on 2202 degrees of freedom
## Residual deviance: 658.02 on 2200 degrees of freedom
## AIC: 664.02
##
## Number of Fisher Scoring iterations: 8Bây giờ, ta sẽ áp dụng một quy trình kiểm định chéo 10x10, tức chia trainset thành 10 blocks, dùng 9 blocks dựng mô hình, kiểm định trên block còn lại, và lặp lại 10 lần.
Hàm vfold_cv() cho phép tạo danh sách dữ liệu cho quy trình kiểm chứng chéo này
# KFCV
mod_form <- as.formula(Class~TSH+FTI)
rs_obj <- vfold_cv(trainset, V=10, repeats = 10)
rs_obj$splits[1]## $`1`
## <1982/221/2203>rs_obj## # 10-fold cross-validation repeated 10 times
## # A tibble: 100 x 3
## splits id id2
## <list> <chr> <chr>
## 1 <S3: rsplit> Repeat01 Fold01
## 2 <S3: rsplit> Repeat01 Fold02
## 3 <S3: rsplit> Repeat01 Fold03
## 4 <S3: rsplit> Repeat01 Fold04
## 5 <S3: rsplit> Repeat01 Fold05
## 6 <S3: rsplit> Repeat01 Fold06
## 7 <S3: rsplit> Repeat01 Fold07
## 8 <S3: rsplit> Repeat01 Fold08
## 9 <S3: rsplit> Repeat01 Fold09
## 10 <S3: rsplit> Repeat01 Fold10
## # ... with 90 more rowsNhư ta thấy, cấu trúc của danh sách có thay đổi chút ít nhưng tương tự như bootstrap: cột splits chứa những phiên bản dữ liệu, tập analysis gốm 9 blocks, kích thước khoảng 1980/2203, tập assessment là 1 block còn lại, khoảng 220/2203. Ta không áp dụng điều kiện bảo tồn tỉ lệ P/N
Tiếp theo, Nhi viết 1 hàm holdout_results với nội dung : dựng mô hình logistic cho mỗi tập analysis, sau đó dùng hàm augment của broom package để phân loại cho tập assessment tương ứng, so sánh kết quả phân loạibởi mô hình và giá trị thực của biến binaryClass, rồi đếm tần suất phân loại chính xác P/N
Như trên, ta dùng hàm map để áp dụng hàm holdout này cho danh sách tái chọn mẫu
holdout_results <- function(splits, ...) {
mod <- glm(..., data = analysis(splits), family = binomial)
holdout <- assessment(splits)
res <- broom::augment(mod, newdata = holdout)
lvls <- levels(holdout$binaryClass)
predictions <- factor(ifelse(res$.fitted > 0, lvls[2], lvls[1]),
levels = lvls)
res$correct <- predictions == holdout$binaryClass
res
}
rs_obj$results <- map(rs_obj$splits,
holdout_results,
mod_form)## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurredrs_obj$accuracy <- map_dbl(rs_obj$results, function(x) mean(x$correct))
quantile(rs_obj$accuracy,probs = c(0.05, 0.500, 0.95))## 5% 50% 95%
## 0.9272727 0.9502262 0.9730718Kết quả cho thấy 95%CI của accuracy từ 92.73% đến 96.38%, trung vị accuracy=95%
Lưu ý rằng bản thân dữ liệu này bị bất xứng (imbalance), cụ thể tỉ lệ P/N là 92%, do đó mô hình logistic nêu trên chưa thể gọi là tối ưu vì Accuracy chỉ cao hơn 92% một chút.
table(trainset$binaryClass)##
## N P
## 179 20242024/2203## [1] 0.9187472Ta có thể thay Accuracy bằng một tiêu chí kiểm định bất kì tùy thích, thí dụ Fscore, Recall, Precision, vv, chỉ cần đặt tiêu chí này vào hàm holdout
Kết quả kiểm chứng chéo 10x10 có thể vẽ thành biểu đồ như sau:
library(viridis)## Loading required package: viridisLiters_obj%>%ggplot(aes(x=id2,y=id))+geom_tile(aes(fill=accuracy))+
scale_fill_viridis(option="D")+
scale_y_discrete("Repeat")+
scale_x_discrete("Folds")
8 Monte Carlo resampling
Ta có thể thay kiểm chứng chéo bằng tái chọn mẫu Monte Carlo, kết quả Accuracy tương tự
# Monte Carlo cross-validation
mc_obj <- mc_cv(trainset, prop=0.8, times =100)
mc_obj$splits[1]## [[1]]
## <1763/440/2203>mc_obj$results <- map(mc_obj$splits,
holdout_results,
mod_form)## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurredmc_obj$accuracy <- map_dbl(mc_obj$results, function(x) mean(x$correct))
mc_obj%>%mutate(Iter=as.numeric(row.names(.)))%>%
ggplot(aes(x=Iter,y=accuracy))+
geom_path(col="red")+
geom_point(shape=21,fill="red",col="red4")+
geom_hline(linetype=2,col="blue",size=1,yintercept = median(mc_obj$accuracy))+
theme_bw()
9 Kết luận
Bài thực hành đến đây là hết. Các bạn vừa làm quen với package rsample của Max Kuhn và Wickham. Như những package khác của họ, rsample không chỉ là một công cụ chuyên biệt mà là một nền tảng phổ quát có thể tái sử dụng nhiều lần và trở thành một bộ phận của ngữ pháp R, cho phép liên kết với những công cụ khác để tạo thành quy trình khép kín, đơn giản và phổ quát.
Việc tách rời danh sách phiên bản dữ liệu, hàm phân tích lõi bên trong và quy trình mô tả/đồ họa cho phép người dùng tùy chỉnh và sáng tạo tùy theo mục tiêu của mình. Cách làm việc được khuyến khích đó là sử dụng hàm map của package purrr, hàm tidy và augmente của package broom mà Nhi đã giới thiệu trước đây.
Ưu điểm của package rsample đó là nó đơn giản tối đa quá trình tạo dữ liệu tái chọn mẫu, vừa đảm bảo tính ngẫu nhiên, vừa cho phép tùy chỉnh và quan trọng nhất là lưu trữ các phiên bản dữ liệu này một cách tường minh, cho phép tái lập kết quả chứ không chạy ngầm như những package khác.
LS0tDQp0aXRsZTogIkdp4bubaSB0aGnhu4d1IHBhY2thZ2UgcnNhbXBsZSIgDQphdXRob3I6ICJMw6ogTmfhu41jIEto4bqjIE5oaSINCmRhdGU6ICIyMSBUaMOhbmcgNSAyMDE4Ig0Kb3V0cHV0Og0KICBodG1sX2RvY3VtZW50OiANCiAgICBjb2RlX2Rvd25sb2FkOiB0cnVlDQogICAgY29kZV9mb2xkaW5nOiBoaWRlDQogICAgbnVtYmVyX3NlY3Rpb25zOiB5ZXMNCiAgICB0aGVtZTogImRlZmF1bHQiDQogICAgdG9jOiBUUlVFDQogICAgdG9jX2Zsb2F0OiBUUlVFDQotLS0NCg0KYGBge3Igc2V0dXAsaW5jbHVkZT1GQUxTRX0NCmtuaXRyOjpvcHRzX2NodW5rJHNldChlY2hvID0gVFJVRSkNCmBgYA0KDQohW10ocnNhbXBsZTEucG5nKQ0KDQojIEdp4bubaSB0aGnhu4d1DQoNClTDoWkgY2jhu41uIG3huqt1IG5n4bqrdSBuaGnDqm4gbMOgIG3hu5l0IGNo4bunIMSR4buBIGtow7RuZyBt4bubaSB0cm9uZyBtw7RuIFRo4buRbmcga8OqLCB0dXkgbmhpw6puIGfhuqduIMSRw6J5IG7DsyBjw7MgdMOtbmggwqsgdGjhu51pIHPhu7EgwrsgaMahbiBraGkgTWFjaGluZSBsZWFybmluZyB0cuG7nyB0aMOgbmggbeG7mXQgY8O0bmcgY+G7pSBzdXkgZGnhu4VuIHRo4buRbmcga8OqIG3hu5tpLiBUw6FpIGNo4buNbiBt4bqrdSBnaeG7ryBjaG8gY8OhYyBtw7QgaMOsbmggdGjhu5FuZyBrw6ogxJHGsOG7o2MgYW4gdG/DoG4gdHLGsOG7m2Mgbmd1eSBjxqEgwqsgb3ZlcmZpdGluZyDCuyB2w6AgxJHGsOG7o2Mga2h1eeG6v24gY8OhbyBuw6puIMOhcCBk4bulbmcgdGjGsOG7nW5nIHF1eSBjaG8gbeG7jWkgcGjDom4gdMOtY2ggKHN1eSDEkeG6v24gY8O5bmcsIHRo4buRbmcga8OqIGPhu5UgxJFp4buDbiBjxaluZyBjaMOtbmggbMOgIGPDoWMgbcO0IGjDrG5oKS4gDQoNCk3hu5l0IHF1eSB0csOsbmggZOG7sW5nIG3DtCBow6xuaCBoaeG7h24gxJHhuqFpIGJhbyBn4buTbSAyIGPDtG5nIMSRb+G6oW4gOiBUw6FpIGNo4buNbiBt4bqrdSB0csOqbiB04bqtcCBk4buvIGxp4buHdSByacOqbmcgKFRyYWluc2V0KSB2w6AgS2nhu4NtIGNo4bupbmcgxJHhu5ljIGzhuq1wIHRyw6puIHThuq1wIGThu68gbGnhu4d1IGtow6FjIChUZXN0c2V0KS4gDQoNClRyxrDhu5tjIGtpYSwgbmjhu69uZyBwaMawxqFuZyBwaMOhcCB0w6FpIGNo4buNbiBt4bqrdSBuaMawIEJvb3RzdHJhcCwgSy1mb2xkcyBDcm9zc3ZhbGlkYXRpb24sIE1vbnRlIENhcmxvIOKApiDDrXQgxJHGsOG7o2MgdGjhu7FjIGhp4buHbiDEkeG6oWkgdHLDoCwgbeG7mXQgcGjhuqduIGRvIGNo4bunIHF1YW4sIG5oxrBuZyBuZ3V5w6puIG5ow6JuIGNow61uaCBsw6AgZG8gc+G7sSBwaOG7qWMgdOG6oXAgY+G7p2EgY2jDum5nLiBDaOG7iSBjw7MgbmfGsOG7nWkgbMOgbSBTdGF0cyBjaHV5w6puIG5naGnhu4dwIG3hu5tpIGPDsyBraOG6oyBuxINuZyB2aeG6v3QgUiBmdW5jdGlvbiDEkeG7gyBsw6BtIGPDoWMgcXV5IHRyw6xuaCBuw6B5LiBDaMawYSBjw7MgbeG7mXQgY2h14bqpbiBwaOG7lSBxdcOhdCB0cm9uZyBSIGNobyBwaMOpcCBuZ8aw4budaSBkw7luZyB0aGnhur90IGzhuq1wLCB0w7l5IGNo4buJbmggdsOgIGtp4buDbSBzb8OhdCB0b8OgbiBi4buZIGPDoWMgcXV5IHRyw6xuaCB0w6FpIGNo4buNbiBt4bqrdS4gDQoNCiMgUGFja2FnZSByc2FtcGxlDQoNCk3hu5l0IGzhuqduIG7hu69hLCBoYWkgdMOhYyBnaeG6oyBNYXggS3VobiB2w6AgSGFkbGV5IFdpY2toYW0gbOG6oWkgY8O5bmcgbmhhdSBnaeG6o2kgcXV54bq/dCB24bqlbiDEkeG7gSBuw6B5LiBI4buNIMSRw6MgdOG6oW8gcmEgbeG7mXQgcGFja2FnZSBy4bqldCB0aeG7h24gZOG7pW5nIGPDsyB0w6puIGzDoCByc2FtcGxlIG3DoCBOaGkgc+G6vSBnaeG7m2kgdGhp4buHdSB24bubaSBjw6FjIGLhuqFuIHRyb25nIGLDoGkgaMO0bSBuYXkuIA0KVGjhu7FjIHJhLCBi4bqjbiBjaOG6pXQgY+G7p2EgbeG7jWkgcXV5IHRyw6xuaCB0w6FpIGNo4buNbiBt4bqrdSBy4bqldCDEkcahbiBnaeG6o24gOiBt4bulYyB0acOqdSBj4bunYSBjaMO6bmcgdGEgbMOgIHThuqFvIHJhIG5oaeG7gXUgcGhpw6puIGLhuqNuIGThu68gbGnhu4d1IGLhurFuZyBjw6FjaCByw7p0IG5n4bqrdSBuaGnDqm4gY8OhYyBwaOG6p24gdOG7rSB04burIHThuq1wIGThu68gbGnhu4d1IGfhu5FjLiBNw7QgaMOsbmgvcGjDom4gdMOtY2ggdGjhu5FuZyBrw6ogc+G6vSDEkcaw4bujYyBk4buxbmcgdHLDqm4gbeG7l2kgcGhpw6puIGLhuqNuIG7DoHksIHThu6sgxJHDsyBt4buZdCBjaHXhu5dpIGvhur90IHF14bqjIHPhur0gxJHGsOG7o2Mga2jhuqNvIHPDoXQgxJHhu4MgbMaw4bujbmcgZ2nDoSBrw61jaCB0aMaw4bubYyBoaeG7h3Ug4bupbmcsIHBo4bqpbSBjaOG6pXQvxJHhu5kgdGluIGPhuq15IGPhu6dhIG3DtCBow6xuaOKApiANCg0KQsaw4bubYyDEkeG6p3UgdGnDqm4gY+G7p2EgdMOhaSBjaOG7jW4gbeG6q3UgbMOgIGzhuq1wIHJhIG3hu5l0IGRhbmggc8OhY2ggbcO0IHThuqMgY2hpIHRp4bq/dCB24buBIGPDoWMgcGhpw6puIGLhuqNuIGThu68gbGnhu4d1IG7DoHksIGJhbyBn4buTbSA6IHPhu5EgbMaw4bujdCBs4bqleSBt4bqrdSAoYmFvIG5oacOqdSBwaGnDqm4gYuG6o24gc+G6vSDEkcaw4bujYyB04bqhbyByYSksIG3hu5dpIHBo4bqnbiB04butIGPDsyB0aOG7gyB4deG6pXQgaGnhu4duIG5oaeG7gXUgbOG6p24gaGF5IGtow7RuZyAoYm9vdHN0cmFwPSBjaOG7jW4gbeG6q3UgY8OzIGzhurdwIGzhuqFpKSwgY8OzIGTDoG5oIG3hu5l0IHBo4bqnbiDEkeG7gyBraeG7g20gxJHhu4tuaCBoYXkga2jDtG5nID8gKHbDoCB04buJIGzhu4cgYmFvIG5oacOqdSA/ICksIGPhuqV1IHRyw7pjIGto4buRaSAoa2nhu4NtIGNo4bupbmcgY2jDqW8gSyBraOG7kWkpLCBjw7MgYuG6o28gdG/DoG4gdOG7iSBs4buHIHBow6JuIGLhu5EgY+G7p2EgbeG7mXQgYmnhur9uIG7DoG8gxJHDsyBoYXkga2jDtG5nID8gKHRow60gZOG7pSBwaMOibiB24buLIGPhu6dhIDEgYmnhur9uIGvhur90IHF14bqjIGxpw6puIHThu6VjLCB04buJIGzhu4cgMiBuaMOjbiBnacOhIHRy4buLIGPhu6dhIDEgYmnhur9uIGvhur90IHF14bqjIG5o4buLIHBow6JuKS4gDQpDaMOtbmggbmjhu69uZyDEkcOyaSBo4buPaSBr4bu5IHRodeG6rXQgY2hpIHRp4bq/dCBuaOG7jyBuaOG6t3QgbsOgeSBsw6BtIGtow7MgbmfGsOG7nWkgZMO5bmcgUiwgdsOsIGjhu40gcGjhuqNpICB2aeG6v3QgZnVuY3Rpb24gxJHhu4MgxJHDoXAg4bupbmcgxJHhu5NuZyB0aOG7nWkgecOqdSBj4bqndSB24buBIHTDrW5oIG5n4bqrdSBuaGnDqm4gdsOgIGPDoWMgxJFp4buBdSBraeG7h24ga8OobSB0aGVvLg0KDQpQYWNrYWdlIHJzYW1wbGUgxJHGsOG7o2MgdOG6oW8gcmEgxJHhu4MgZ2nhuqNpIHF1eeG6v3QgY8O0bmcgxJFv4bqhbiBraMOzIG5o4bqldCBuw6B5LCBuw7MgdOG6oW8gcmEgbeG7mXQgbuG7gW4gdOG6o25nIHBo4buVIHF1w6F0LCBjaG8gcGjDqXAgbmfGsOG7nWkgZMO5bmcga2nhu4NtIHNvw6F0IMSR4bq/biB04burbmcgY2hpIHRp4bq/dCBj4bunYSB04bqldCBj4bqjICBxdXkgdHLDrG5oIHTDoWkgY2jhu41uIG3huqt1IGLhurFuZyBuaOG7r25nIGjDoG0gY8OzIGPDuiBwaMOhcCB0xrDGoW5nIHThu7EuIENo4buJIDEgZMOybmcgY29kZSwgdGEgY8OzIHRo4buDIHThuqFvIGRhbmggc8OhY2ggdMOhaSBjaOG7jW4gbeG6q3UuIERhbmggc8OhY2ggZOG7ryBsaeG7h3UgbsOgeSBs4bqhaSBjw7MgY+G6pXUgdHLDumMgxJHhu5NuZyBuaOG6pXQgY2hvIG3hu41pIHF1eSB0csOsbmgsIGfhuq9uIGvhur90IGThu4UgZMOgbmcgduG7m2kgbmjhu69uZyBow6BtIHRp4buHbiDDrWNoIGtow6FjIHThu6sgYnJvb20sIHB1cnJyLCB2di4gdsOgIGPDsyB0aOG7gyBkw7luZyDEkeG7gyBsxrB1IHRy4buvIHRy4buxYyB0aeG6v3Aga+G6v3QgcXXhuqMgdGjhu5FuZyBrw6ova2nhu4NtIMSR4buLbmggbcO0IGjDrG5oIHThu6sgbeG7mXQgaMOgbSBtYXAoKS4gDQoNCiMgVGjDrSBk4bulIG1pbmggaOG7jWE6IGThu68gbGnhu4d1IGh5cG90aHlyb2lkDQoNClRyxrDhu5tjIGtoaSBi4bqvdCDEkeG6p3UsIE5oaSBz4bq9IHThuqNpIHbhu4EgbcOheSBk4buvIGxp4buHdSBIeXBvdGh5cm9pZCAoYuG7h25oIFN1eSBuaMaw4bujYyB0dXnhur9uIGdpw6FwKSBj4bunYSB2aeG7h24gR2FydmFuICjDmmMpLCBn4buTbSBoxqFuIDIwMDAgYuG7h25oIG5ow6JuLiANCg0KTkhpIHPhur0gZMO5bmcgY2FyZXQgxJHhu4MgY+G6r3Qgbmfhuqt1IG5oacOqbiBk4buvIGxp4buHdSBn4buRYyB0aMOgbmggMiBwaOG6p24gduG7m2kgdOG7iSBs4buHIDgwJSB2w6AgMjAlIDogUGjhuqduIGzhu5tuICh0cmFpbnNldCkgc+G6vSBkw7luZyBjaG8gcGjDom4gdMOtY2ggY+G7p2EgY2jDum5nIHRhIDoNCg0KYGBge3IsbWVzc2FnZSA9IEZBTFNFLHdhcm5pbmc9RkFMU0V9DQpsaWJyYXJ5KHRpZHl2ZXJzZSkNCg0KZGY9cmVhZC5jc3YoImh0dHBzOi8vd3d3Lm9wZW5tbC5vcmcvZGF0YS9nZXRfY3N2LzUzNTM0L2h5cG90aHlyb2lkLmNzdiIsbmEuc3RyaW5ncyA9ICI/IikNCg0KZGY9ZGYlPiVkcGx5cjo6c2VsZWN0KFRTSCxUMyxUVDQsVDRVLEZUSSxiaW5hcnlDbGFzcyklPiVuYS5vbWl0KCkNCg0KIyBTcGxpdGluZw0KDQppZHg9Y2FyZXQ6OmNyZWF0ZURhdGFQYXJ0aXRpb24oeT1kZiRiaW5hcnlDbGFzcywgcD0wLjgsbGlzdD1GQUxTRSkNCnRyYWluc2V0PWRmW2lkeCxdDQp0ZXN0c2V0PWRmWy1pZHgsXQ0KDQp0cmFpbnNldCU+JWhlYWQoNSklPiVrbml0cjo6a2FibGUoKQ0KDQpgYGANCg0KIyBD4bqldSB0csO6YyBkYW5oIHPDoWNoIHTDoWkgY2jhu41uIG3huqt1DQoNCsSQ4bqndSB0acOqbiwgTmhpIGdp4bqjIMSR4buLbmggdGEgbXXhu5FuIHThuqFvIHJhIG3hu5l0IGRhbmggc8OhY2ggdMOhaSBjaOG7jW4gbeG6q3Ugc+G7rSBk4bulbmcgcGjGsMahbmcgcGjDoXAgQm9vdHN0cmFwLiBQYWNrYWdlIHJzYW1wbGUgY2hvIHBow6lwIGzDoG0gxJFp4buBdSBuw6B5IGPhu7FjIGvDrCDEkcahbiBnaeG6o24sIHbhu5tpIDEgZMOybmcgY29kZSBkdXkgbmjhuqV0IGLhurFuZyBow6BtIGJvb3RzdHJhcHMgDQoNCmBgYHtyLG1lc3NhZ2UgPSBGQUxTRSx3YXJuaW5nPUZBTFNFfQ0KbGlicmFyeShyc2FtcGxlKQ0KDQojIEEgcnNhbXBsZSBvYmplY3QNCg0Kc2V0LnNlZWQoMjEwNSkNCg0KYm9vdF9vYmo8LWJvb3RzdHJhcHModHJhaW5zZXQsdGltZXMgPSAxMCxzdHJhdGE9ImJpbmFyeUNsYXNzIikNCmBgYA0KDQpOaGkgduG7q2Egw6FwIGThu6VuZyBt4buZdCBxdXkgdHLDrG5oIGJvb3RzdHJhcCBuZ+G6r24sIHbhu5tpIDEwIGzGsOG7o3QgdMOhaSBjaOG7jW4gbeG6q3UsIHRyw6puIHThuq1wIHRyYWluc2V0LCB24bubaSDEkWnhu4F1IGtp4buHbiBwaOG7pSBsw6AgYuG6o28gdG/DoG4gdOG7iSBs4buHIGJp4bq/biBiaW5hcnlDbGFzcywgdsOgIGzGsHUgZGFuaCBzw6FjaCBwaGnDqm4gYuG6o24gZOG7ryBsaeG7h3UgdsOgbyAxIG9iamVjdCBjw7MgdMOqbiBsw6AgYm9vdF9vYmoNCg0KVGEgYmnhur90IHLhurFuZyB04bqtcCB0cmFpbnNldCBjw7Mga8OtY2ggdGjGsOG7m2MgMTc3IEtiDQoNCmBgYHtyfQ0KbGlicmFyeShtbGJlbmNoKQ0KbGlicmFyeShwcnlyKQ0KDQpvYmplY3Rfc2l6ZSh0cmFpbnNldCkNCmBgYA0KDQpvYmplY3QgZGFuaCBzw6FjaCBk4buvIGxp4buHdSB0w6FpIGNo4buNbiBt4bqrdSBjw7Mga8OtY2ggdGjGsOG7m2MgbMOgIDI3NyBLYiAoa8OtY2ggdGjGsOG7m2MgbsOgeSBz4bq9IHThu4kgbOG7hyB24bubaSBz4buRIGzGsOG7o3QgbOG6pXkgbeG6q3UpDQoNCmBgYHtyfQ0Kb2JqZWN0X3NpemUoYm9vdF9vYmopDQpgYGANCg0KTmjGsCB24bqteSBt4buXaSBwaGnDqm4gYuG6o24gZOG7ryBsaeG7h3UgdHJvbmcgMSBsxrDhu6N0IGzhuqV5IG3huqt1IGNo4buJIGPDsyBrw61jaCB0aMaw4bubYyBsw6AgMjcuNyBrYiwgcuG6pXQgbmjhu48uDQoNCmBgYHtyfQ0Kb2JqZWN0X3NpemUoYm9vdF9vYmopL25yb3coYm9vdF9vYmopDQpgYGANCg0KVuG7m2kgMTAgbMaw4bujdCBs4bqleSBt4bqrdSwga8OtY2ggdGjGsOG7m2MgY+G7p2EgZGFuaCBzw6FjaCBzbyB24bubaSBk4buvIGxp4buHdSBn4buRYyBjaOG7iSB0xINuZyBn4bqlcCByxrDhu6FpDQoNCmBgYHtyfQ0KKG9iamVjdF9zaXplKGJvb3Rfb2JqKS9vYmplY3Rfc2l6ZSh0cmFpbnNldCkpJT4lYXMubnVtZXJpYygpDQpgYGANCg0KQsOieSBnaeG7nSwgdGEgc+G6vSB0w6xtIGhp4buDdSBj4bqldSB0csO6YyBiw6puIHRyb25nIG9iamVjdCBkYW5oIHPDoWNoIG7DoHkgbmjDqToNCg0KxJDDonkgbMOgIG3hu5l0IGPhuqV1IHRyw7pjIGThu68gbGnhu4d1IDIgY2hp4buBdSwgbeG7l2kgaMOgbmcgdMawxqFuZyDhu6luZyB24bubaSAxIGzGsOG7o3QgYm9vdHN0cmFwLCBuw7MgY8OzIDIgY+G7mXQsIGPhu5l0IHNwbGl0cyBsw6AgbeG7mXQgbGlzdCwgY2jhu6lhIHThuq1wIGThu68gbGnhu4d1IMSRxrDhu6NjIHLDunQgbmfhuqt1IG5oacOqbiB04burIHRyYWluc2V0LCBj4buZdCBpZCBjw7MgdmFpIHRyw7IgxJHhu4tuaCBkYW5oLg0KDQpgYGB7cn0NCmJvb3Rfb2JqDQpgYGANCg0KVGEgdGjhu60gdHLDrWNoIDMgaMOgbmcgxJHhuqd1IHRpw6puIGPhu6dhIHNwbGl0cywgdsOgIG5o4bqtbiB0aMO0bmcgdGluIG5oxrAgc2F1Og0KDQpgYGB7cn0NCmJvb3Rfb2JqJHNwbGl0c1tjKDE6MyldDQpgYGANCg0KMyBjb24gc+G7kSBuw6B5IGzhuqduIGzGsOG7o3QgY8OzIHTDqm4gbMOgOiBhbmFseXNpcyA9IHThuq1wIGThu68gbGnhu4d1IGNow61uaCwgIGTDuW5nIMSR4buDIGThu7FuZyBtw7QgaMOsbmgsIGFzc2Vzc21lbnQgPSB04bqtcCBk4buvIGxp4buHdSBkw7luZyBraeG7g20gxJHhu4tuaCBtw7QgaMOsbmggKGNow7puZyBjw7MgbuG7mWkgZHVuZyBob8OgbiB0b8OgbiDEkeG7mWMgbOG6rXApLCB2w6AgY3Xhu5FpIGPDuW5nIGzDoCB04bqtcCBk4buvIGxp4buHdSBn4buRYyA9IHRyYWluc2V0Lg0KDQpOaMawIHRhIGJp4bq/dCwgcXV5IHRyw6xuaCBib290c3RyYXAgdOG6oW8gcmEgbeG7mXQgcGhpw6puIGLhuqNuIGThu68gbGnhu4d1IGPDsyBjw7luZyBrw61jaCB0aMaw4bubYyB24bubaSBk4buvIGxp4buHdSBn4buRYywgbmjGsG5nIGNo4bupYSBuaOG7r25nIHBo4bqnbiB04butIMSRxrDhu6NjIHLDunQgbmfhuqt1IG5oacOqbiB2w6AgY8OzIGzhurdwIGzhuqFpIHThu6sgZOG7ryBsaeG7h3UgZ+G7kWMgbsOgeS4gxJDDsyBsw6Agw70gbmdoxKlhIGNvbiBz4buRIDIyMDMgPSB04bqtcCBhbmFseXNpczsgcGFja2FnZSByc2FtcGxlIGPDsm4gxJFpIHhhIGjGoW4sIGtoaSBraMO0bmcgY2jhu4kgbMOgbSBib290c3RyYXAgY2hvIHBow6JuIHTDrWNoIGNow61uaC9tw7QgaMOsbmggbcOgIGPDsm4gYm9vdHN0cmFwIGzhuqduIHRo4bupIDIgxJHhu4MgdOG6oW8gcmEgMSB04bqtcCBraeG7g20gxJHhu4tuaCBuaOG7jyDEkeG7mWMgbOG6rXAgduG7m2kgdOG6rXAgYW5hbHlzaXMsIHThuq1wIGtp4buDbSDEkeG7i25oIGFzc2Vzc21lbnQgbsOgeSBjaOG7qWEga2hv4bqjbmcgODAwIHBo4bqnbiB04butLg0KDQpUaeG6v3AgdGhlbyBt4bubaSBsw6AgxJFp4buBdSB0aMO6IHbhu4s6IGtoaSDDoXAgZOG7pW5nIGjDoG0gYW5hbHlzaXMgdHLDqm4gMSBow6BuZyBj4bunYSBvYmplY3QgZGFuaCBzw6FjaCwgbsOzIHPhur0gdHLDrWNoIHh14bqldCBwaGnDqm4gYuG6o24gZOG7ryBsaeG7h3UgKHThuq1wIGFuYWx5c2lzKSANCg0KYGBge3J9DQpib290X29iaiRzcGxpdHNbWzFdXSU+JWFuYWx5c2lzKCklPiVoZWFkKDUpJT4la25pdHI6OmthYmxlKCkNCmBgYA0KDQpUxrDGoW5nIHThu7EsIGjDoG0gYXNzZXNzbWVudCBz4bq9IHRyw61jaCB4deG6pXQgcGhpw6puIGLhuqNuIGThu68gbGnhu4d1IGtp4buDbSDEkeG7i25oOg0KDQpgYGB7cn0NCmJvb3Rfb2JqJHNwbGl0c1tbMl1dJT4lYXNzZXNzbWVudCgpJT4laGVhZCg1KSU+JWtuaXRyOjprYWJsZSgpDQoNCmBgYA0KDQpOaMawIHbhuq15LCBi4bqhbiBjxaluZyBjw7MgdGjhu4MgaMOsbmggZHVuZyB0YSBz4bq9IGtoYWkgdGjDoWMgb2JqZWN0IGRhbmggc8OhY2ggbsOgeSBuaMawIHRo4bq/IG7DoG8ga2hpIGThu7FuZyB2w6Aga2nhu4NtIMSR4buLbmggbcO0IGjDrG5oIGjDoG5nIGxv4bqhdCwgdGjDrSBk4bulIGLhurFuZyBow6BtIG1hcCBoYXkgdsOybmcgbOG6t3AgZm9yIGxvb3AuIA0KDQpUYSBraeG7g20gdHJhIHRow6ptIDEgY2hpIHRp4bq/dCBu4buvYSwgxJHDsyBsw6AgxJFp4buBdSBraeG7h24gYuG6o28gdG/DoG4gdOG7iSBs4buHIGJp4bq/biBr4bq/dCBxdeG6oyAoYmluYXJ5Q2xhc3MpOiB04buJIGzhu4cgbsOgeSBsw6AgbmjGsCBuaGF1IOG7nyBt4buXaSBwaGnDqm4gYuG6o24gZOG7ryBsaeG7h3UsIHbDoCBi4bqxbmcgduG7m2kgdOG7iSBs4buHIHRyb25nIHThuq1wIHRyYWluc2V0DQoNCmBgYHtyfQ0KYm9vdF9vYmokc3BsaXRzW1s1XV0lPiVhcy5kYXRhLmZyYW1lKCklPiUuJGJpbmFyeUNsYXNzJT4ldGFibGUoKQ0KDQp0YWJsZSh0cmFpbnNldCRiaW5hcnlDbGFzcykNCmBgYA0KDQpUaOG6rXQga2jDtG5nIHThu4cgISBUYSBjw7MgdGjhu4MgecOqbiB0w6JtIGtoaSDDoXAgZOG7pW5nIHF1eSB0csOsbmggbsOgeSBjaG8gbmjhu69uZyBiw6BpIHRvw6FuIHbhu5tpIGRhdGEgaW1iYWxhbmNlLg0KDQojIOG7qG5nIGThu6VuZyBzbyBzw6FuaA0KDQrEkOG6p3UgdGnDqm4sIE5oaSBz4bq9IG1pbmggaOG7jWEgbeG7mXQgcGjDom4gdMOtY2ggc28gc8OhbmggYuG6sW5nIGJvb3RzdHJhcC4gDQoNCk5oaSB2aeG6v3QgMSBmdW5jdGlvbiDEkeG7gyB0w61uaCBraMOhYyBiaeG7h3QgdHJ1bmcgduG7iyBj4bunYSBiaeG6v24gVFQ0IGdp4buvYSAyIHBow6JuIG5ow7NtIFAgdsOgIE4sIMOhcCBk4bulbmcgY2hvIG3hu5dpIGzGsOG7o3QgYm9vdHN0cmFwDQoNClRo4butIGZ1bmN0aW9uIG7DoHkgdHLDqm4gdHJhaW5zZXQsIG7DsyBjaOG6oXkgdOG7kXQ6DQoNCmBgYHtyLG1lc3NhZ2UgPSBGQUxTRSx3YXJuaW5nPUZBTFNFfQ0KIyBBIHNpbXBsZSBjb21wYXJpc29uDQoNCm1lZF9kaWZmIDwtIGZ1bmN0aW9uKHNwbGl0cyx0YXJnZXQ9IlRUNCIpIHsNCiAgdGVtcDwtIGFuYWx5c2lzKHNwbGl0cykNCiAgcmVzPC10ZW1wJT4lZ3JvdXBfYnkoYmluYXJ5Q2xhc3MpJT4lc3VtbWFyaXNlX2F0KHRhcmdldCxtZWFuLG5hLnJtPVQpDQogIG1lZGlhbihyZXNbMiwyXSU+JWFzLm51bWVyaWMoKSktbWVkaWFuKChyZXNbMSwyXSU+JWFzLm51bWVyaWMoKSkpDQp9DQoNCm1lZF9kaWZmKHRyYWluc2V0LCJUVDQiKQ0KYGBgDQoNClNhdSDEkcOzLCBjaOG7iSB24bubaSAyIGTDsm5nIGNvZGUsIHRhIGPDsyB0aOG7gyBsw6BtIG3hu5l0IHNvIHPDoW5oIHRydW5nIHbhu4sgYuG6sW5nIGJvb3RzdHJhcCAxMDAwIGzhuqduOg0KDQpgYGB7cn0NCnNldC5zZWVkKDIxMDUpDQpiaWdib290IDwtIGJvb3RzdHJhcHModHJhaW5zZXQsdGltZXM9MTAwMCkNCg0KYmlnYm9vdCRUVDRfbWVkZGlmPC0gbWFwX2RibChiaWdib290JHNwbGl0cyxtZWRfZGlmZikNCmBgYA0KDQpOaMawIGLhuqFuIHRo4bqleSwgTmhpIHThuqFvIGRhbmggc8OhY2ggZOG7ryBsaeG7h3UgYmlnYm9vdCB0csaw4bubYywgc2F1IMSRw7MgZMO5bmcgY2jDrW5oIGRhbmggc8OhY2ggbsOgeSDEkeG7gyBsxrB1IGvhur90IHF14bqjIGtow6FjIGJp4buHdCB0cnVuZyB24buLIGLhurFuZyAxIGjDoG0gbWFwIGPhu6dhIHBhY2thZ2UgcHVycnIuIFLhuqV0IMSRxqFuIGdp4bqjbiwgbmhhbmggY2jDs25nDQoNClRp4bq/cCB0aGVvIHRhIGPDsyB0aOG7gyBsw6BtIGfDrCB0w7l5IHRow61jaCwgdGjDrSBk4bulIHTDrW5oIDk3LjUlQ0kgY+G7p2Ega2jDoWMgYmnhu4d0IHRydW5nIHbhu4sNCg0KYGBge3J9DQpxdWFudGlsZShiaWdib290JFRUNF9tZWRkaWYsIA0KICAgICAgICAgcHJvYnMgPSBjKDAuMDI1LCAwLjA1LCAwLjUwMCwgMC45NSwwLjk3NSkpDQpgYGANCg0KSGF5IGzDoG0gbeG7mXQgcGjhuqNuIG5naGnhu4dtIHbhu5tpIG5nxrDhu6FuZyBudWxsIGh5cG90aGVzaXMgbMOgICszNQ0KDQpgYGB7cn0NCnRocmVzaG9sZCA9ICszNQ0KV1ZQbG90czo6U2hhZGVkRGVuc2l0eShiaWdib290LCJUVDRfbWVkZGlmIiwgdGhyZXNob2xkLA0KICAgICAgICAgICAgICAgICAgICAgICB0aXRsZT0idGhyZXNob2xkPSArMzUiKSt0aGVtZV9idygpDQoNCmBgYA0KDQpIYXkgduG6vSBkZW5zaXR5IHBsb3QgY2hvIGvhur90IHF14bqjIGJvb3RzdHJhcA0KDQpgYGB7cn0NCmJpZ2Jvb3QlPiVtdXRhdGUoZ3JvdXA9cmVwKGMoMToxMCksMTAwKSklPiUNCiAgZ2dwbG90KGFlcyh4PVRUNF9tZWRkaWYsY29sPWZhY3Rvcihncm91cCkpKSsNCiAgZ2VvbV9kZW5zaXR5KGFscGhhPTAuMDIsZmlsbD0icmVkIixzaG93LmxlZ2VuZCA9IEYpKw0KICBzY2FsZV9jb2xvcl9icmV3ZXIocGFsZXR0ZT0iUmVkcyIpKw0KICBnZW9tX3ZsaW5lKHhpbnRlcmNlcHQ9MzUsbGluZXR5cGU9Mixjb2w9ImJsYWNrIikrDQogIHRoZW1lX2J3KCkNCmBgYA0KDQojIEJvb3RzdHJhcCBt4buZdCBtw7QgaMOsbmggdHV54bq/biB0w61uaA0KDQpCw6J5IGdp4budIHRhIHPhur0gcGjhu6ljIHThuqFwIGjDs2EgduG6pW4gxJHhu4EgbMOqbiBt4buZdCBjaMO6dCwgY8WpbmcgbMOgIHNvIHPDoW5oIFRUNCBnaeG7r2EgMiBwaMOibiBuaMOzbSBQL04gbmjGsG5nIHF1YSAxIG3DtCBow6xuaCBo4buTaSBxdXkgdHV54bq/biB0w61uaCBi4bqxbmcgaMOgbSBnbG0oKQ0KDQpNw7QgaMOsbmggc28gc8OhbmggY8OzIGThuqFuZzogVFQ0IH4gYmluYXJ5Q2xhc3MgLTENCg0KVGEgdmnhur90IDEgaMOgbSBnbG1fY29lZnMgY2hvIHBow6lwIHRyw61jaCB4deG6pXQgY29lZmZpY2llbnRzIGPhu6dhIG3DtCBow6xuaCBuw6B5LCBjaG8gbeG7l2kgbMaw4bujdCBib290c3RyYXAuDQoNClNhdSDEkcOzIGfhuq9uIGjDoG0gbsOgeSB2w6BvIGRhbmggc8OhY2ggYmlnYm9vdCBi4bqxbmcgMSBow6BtIG1hcA0KDQpgYGB7cixtZXNzYWdlID0gRkFMU0Usd2FybmluZz1GQUxTRX0NCiMgTW9kZWwNCg0KbW9kX2Zvcm09YXMuZm9ybXVsYShUVDR+YmluYXJ5Q2xhc3MtMSkNCg0KZ2xtX2NvZWZzIDwtIGZ1bmN0aW9uKHNwbGl0cywgLi4uKSB7DQogIG1vZCA8LSBnbG0oLi4uLCBkYXRhID0gYW5hbHlzaXMoc3BsaXRzKSxmYW1pbHk9ImdhdXNzaWFuIikNCiAgYXMuZGF0YS5mcmFtZSh0KGNvZWYobW9kKSkpDQp9DQoNCmNvZWZzIDwtIG1hcCgueCA9IGJpZ2Jvb3Qkc3BsaXRzLCANCiAgICAgICAgICAgICAgICAgICAgICAgICAgLmYgPSBnbG1fY29lZnMsIA0KICAgICAgICAgICAgICAgICAgICAgICAgICBtb2RfZm9ybSkNCmBgYA0KDQpvYmplY3QgY29lZnMgbMOgIDEgbGlzdCwgbsOqbiBow6BtIGxhcHBseSBjaG8gcGjDqXAgdHLDrWNoIHh14bqldCBr4bq/dCBxdeG6oyBj4bunYSAyIHZlY3RvcnMgcGjDom4gbmjDs20gUCxOIHRo4bqtdCDEkcahbiBnaeG6o246DQoNCmBgYHtyfQ0KY29lZmRhdD1kYXRhX2ZyYW1lKEdyb3VwPXJlcChjKDE6MTApLDEwMCksDQogICAgICAgICAgICAgICAgICAgQ2xhc3NOPWxhcHBseShjb2VmcyxgW1tgLCAiYmluYXJ5Q2xhc3NOIiklPiVhcy5udW1lcmljKCksDQogICAgICAgICAgICAgICAgICAgQ2xhc3NQPWxhcHBseShjb2VmcyxgW1tgLCAiYmluYXJ5Q2xhc3NQIiklPiVhcy5udW1lcmljKCkpDQoNCmxpYnJhcnkoZ2dyaWRnZXMpDQoNCmNvZWZkYXQlPiVnYXRoZXIoQ2xhc3NOLENsYXNzUCxrZXk9IkNvZWYiLHZhbHVlPSJFc3RpbWF0ZWQiKSU+JQ0KICBnZ3Bsb3QoYWVzKHk9Q29lZix4PUVzdGltYXRlZCxjb2w9ZmFjdG9yKEdyb3VwKSkpKw0KICBnZW9tX2RlbnNpdHlfcmlkZ2VzKGFscGhhPTAuMDIsZmlsbD0icmVkIixzaG93LmxlZ2VuZCA9IEYpKw0KICBzY2FsZV9jb2xvcl9icmV3ZXIocGFsZXR0ZT0iUmVkcyIpKw0KICB0aGVtZV9idygpDQpgYGANCg0KVGEgduG7q2EgbeG7m2kga2jhuqNvIHPDoXQgdHJ1bmcgYsOsbmggVFQ0IGNobyBt4buXaSBwaMOibiBuaMOzbSBQL04gdHLDqm4gMTAwMCBwaGnDqm4gYuG6o24gZOG7ryBsaeG7h3UuDQoNCiMgS2nhu4NtIGNo4bupbmcgY2jDqW8gbOG6t3AgbOG6oWkgMTB4MTANCg0KVHJvbmcgMiB0aMOtIGThu6UgbsOqdSB0csOqbiwgdGEgY2jhu4kgbeG7m2kgZMO5bmcgxJHhur9uIHThuq1wIGFuYWx5c2lzIHRyb25nIGRhbmggc8OhY2ggYm9vdHN0cmFwLiBUaMOtIGThu6Ugc2F1IMSRw6J5IE5oaSBz4bq9IHRo4butIG3hu5l0IHBoxrDGoW5nIHBow6FwIHTDoWkgY2jhu41uIG3huqt1IGtow6FjIGzDoCBLX2ZvbGRzIGNyb3NzIHZhbGlkYXRpb24sIHbhu5tpIGPhuqV1IHRyw7pjIDEweDEwDQoNCkdp4bqjIMSR4buLbmggdGEgbXXhu5FuIGThu7FuZyAxIG3DtCBow6xuaCBsb2dpc3RpYyDEkeG7gyBwaMOibiBsb+G6oWkgMiBuaMOjbiBQL04gZOG7sWEgdsOgbzIgcHJlZGljdG9ycyBsw6AgVFNIIHbDoCBGVEkgDQoNClRhIGPDsyB0aOG7gyBkw7luZyB0b8OgbiBi4buZIHThuq1wIHRyYWluc2V0DQoNCmBgYHtyfQ0KIyBjcm9zcyB2YWxpZGF0aW9uIGEgbG9naXN0aWMNCg0KdHJhaW5zZXQkQ2xhc3M9YXMubnVtZXJpYyh0cmFpbnNldCRiaW5hcnlDbGFzcyktMQ0KDQpsbW9kMD1nbG0oZGF0YT10cmFpbnNldCxiaW5hcnlDbGFzc35UU0grRlRJLGZhbWlseT0iYmlub21pYWwiKQ0KDQpzdW1tYXJ5KGxtb2QwKQ0KDQpgYGANCg0KQsOieSBnaeG7nSwgdGEgc+G6vSDDoXAgZOG7pW5nIG3hu5l0IHF1eSB0csOsbmgga2nhu4NtIMSR4buLbmggY2jDqW8gMTB4MTAsIHThu6ljIGNoaWEgdHJhaW5zZXQgdGjDoG5oIDEwIGJsb2NrcywgZMO5bmcgOSBibG9ja3MgZOG7sW5nIG3DtCBow6xuaCwga2nhu4NtIMSR4buLbmggdHLDqm4gYmxvY2sgY8OybiBs4bqhaSwgdsOgIGzhurdwIGzhuqFpIDEwIGzhuqduLg0KDQpIw6BtIHZmb2xkX2N2KCkgY2hvIHBow6lwIHThuqFvIGRhbmggc8OhY2ggZOG7ryBsaeG7h3UgY2hvIHF1eSB0csOsbmgga2nhu4NtIGNo4bupbmcgY2jDqW8gbsOgeQ0KDQpgYGB7cn0NCiMgS0ZDVg0KDQptb2RfZm9ybSA8LSBhcy5mb3JtdWxhKENsYXNzflRTSCtGVEkpDQoNCnJzX29iaiA8LSB2Zm9sZF9jdih0cmFpbnNldCwgVj0xMCwgcmVwZWF0cyA9IDEwKQ0KDQpyc19vYmokc3BsaXRzWzFdDQoNCnJzX29iag0KYGBgDQoNCk5oxrAgdGEgdGjhuqV5LCBj4bqldSB0csO6YyBj4bunYSBkYW5oIHPDoWNoIGPDsyB0aGF5IMSR4buVaSBjaMO6dCDDrXQgbmjGsG5nIHTGsMahbmcgdOG7sSBuaMawIGJvb3RzdHJhcDogY+G7mXQgc3BsaXRzIGNo4bupYSBuaOG7r25nIHBoacOqbiBi4bqjbiBk4buvIGxp4buHdSwgdOG6rXAgYW5hbHlzaXMgZ+G7kW0gOSBibG9ja3MsIGvDrWNoIHRoxrDhu5tjIGtob+G6o25nIDE5ODAvMjIwMywgdOG6rXAgYXNzZXNzbWVudCBsw6AgMSBibG9jayBjw7JuIGzhuqFpLCBraG/huqNuZyAyMjAvMjIwMy4gVGEga2jDtG5nIMOhcCBk4bulbmcgxJFp4buBdSBraeG7h24gYuG6o28gdOG7k24gdOG7iSBs4buHIFAvTg0KDQpUaeG6v3AgdGhlbywgTmhpIHZp4bq/dCAxIGjDoG0gaG9sZG91dF9yZXN1bHRzIHbhu5tpIG7hu5lpIGR1bmcgOiBk4buxbmcgbcO0IGjDrG5oIGxvZ2lzdGljIGNobyBt4buXaSB04bqtcCBhbmFseXNpcywgc2F1IMSRw7MgZMO5bmcgaMOgbSBhdWdtZW50IGPhu6dhIGJyb29tIHBhY2thZ2UgxJHhu4MgcGjDom4gbG/huqFpIGNobyB04bqtcCBhc3Nlc3NtZW50IHTGsMahbmcg4bupbmcsIHNvIHPDoW5oIGvhur90IHF14bqjIHBow6JuIGxv4bqhaWLhu59pIG3DtCBow6xuaCB2w6AgZ2nDoSB0cuG7iyB0aOG7sWMgY+G7p2EgYmnhur9uIGJpbmFyeUNsYXNzLCBy4buTaSDEkeG6v20gdOG6p24gc3XhuqV0IHBow6JuIGxv4bqhaSBjaMOtbmggeMOhYyBQL04NCg0KTmjGsCB0csOqbiwgdGEgZMO5bmcgaMOgbSBtYXAgxJHhu4Mgw6FwIGThu6VuZyBow6BtIGhvbGRvdXQgbsOgeSBjaG8gZGFuaCBzw6FjaCB0w6FpIGNo4buNbiBt4bqrdQ0KDQpgYGB7cn0NCmhvbGRvdXRfcmVzdWx0cyA8LSBmdW5jdGlvbihzcGxpdHMsIC4uLikgew0KICBtb2QgPC0gZ2xtKC4uLiwgZGF0YSA9IGFuYWx5c2lzKHNwbGl0cyksIGZhbWlseSA9IGJpbm9taWFsKQ0KICBob2xkb3V0IDwtIGFzc2Vzc21lbnQoc3BsaXRzKQ0KICByZXMgPC0gYnJvb206OmF1Z21lbnQobW9kLCBuZXdkYXRhID0gaG9sZG91dCkNCiAgbHZscyA8LSBsZXZlbHMoaG9sZG91dCRiaW5hcnlDbGFzcykNCiAgcHJlZGljdGlvbnMgPC0gZmFjdG9yKGlmZWxzZShyZXMkLmZpdHRlZCA+IDAsIGx2bHNbMl0sIGx2bHNbMV0pLA0KICAgICAgICAgICAgICAgICAgICAgICAgbGV2ZWxzID0gbHZscykNCiAgcmVzJGNvcnJlY3QgPC0gcHJlZGljdGlvbnMgPT0gaG9sZG91dCRiaW5hcnlDbGFzcw0KICByZXMNCn0NCg0KcnNfb2JqJHJlc3VsdHMgPC0gbWFwKHJzX29iaiRzcGxpdHMsDQogICAgICAgICAgICAgICAgICAgICAgaG9sZG91dF9yZXN1bHRzLA0KICAgICAgICAgICAgICAgICAgICAgIG1vZF9mb3JtKQ0KDQpyc19vYmokYWNjdXJhY3kgPC0gbWFwX2RibChyc19vYmokcmVzdWx0cywgZnVuY3Rpb24oeCkgbWVhbih4JGNvcnJlY3QpKQ0KDQpxdWFudGlsZShyc19vYmokYWNjdXJhY3kscHJvYnMgPSBjKDAuMDUsIDAuNTAwLCAwLjk1KSkNCmBgYA0KDQpL4bq/dCBxdeG6oyBjaG8gdGjhuqV5IDk1JUNJIGPhu6dhIGFjY3VyYWN5IHThu6sgOTIuNzMlIMSR4bq/biA5Ni4zOCUsIHRydW5nIHbhu4sgYWNjdXJhY3k9OTUlDQoNCkzGsHUgw70gcuG6sW5nIGLhuqNuIHRow6JuIGThu68gbGnhu4d1IG7DoHkgYuG7iyBi4bqldCB44bupbmcgKGltYmFsYW5jZSksIGPhu6UgdGjhu4MgdOG7iSBs4buHIFAvTiBsw6AgOTIlLCBkbyDEkcOzIG3DtCBow6xuaCBsb2dpc3RpYyBuw6p1IHRyw6puIGNoxrBhIHRo4buDIGfhu41pIGzDoCB04buRaSDGsHUgdsOsIEFjY3VyYWN5IGNo4buJIGNhbyBoxqFuIDkyJSBt4buZdCBjaMO6dC4NCg0KYGBge3J9DQp0YWJsZSh0cmFpbnNldCRiaW5hcnlDbGFzcykNCg0KMjAyNC8yMjAzDQpgYGANCg0KVGEgY8OzIHRo4buDIHRoYXkgQWNjdXJhY3kgYuG6sW5nIG3hu5l0IHRpw6p1IGNow60ga2nhu4NtIMSR4buLbmggYuG6pXQga8OsIHTDuXkgdGjDrWNoLCB0aMOtIGThu6UgRnNjb3JlLCBSZWNhbGwsIFByZWNpc2lvbiwgdnYsIGNo4buJIGPhuqduIMSR4bq3dCB0acOqdSBjaMOtIG7DoHkgdsOgbyBow6BtIGhvbGRvdXQNCg0KS+G6v3QgcXXhuqMga2nhu4NtIGNo4bupbmcgY2jDqW8gMTB4MTAgY8OzIHRo4buDIHbhur0gdGjDoG5oIGJp4buDdSDEkeG7kyBuaMawIHNhdToNCg0KYGBge3J9DQpsaWJyYXJ5KHZpcmlkaXMpDQoNCnJzX29iaiU+JWdncGxvdChhZXMoeD1pZDIseT1pZCkpK2dlb21fdGlsZShhZXMoZmlsbD1hY2N1cmFjeSkpKw0KICBzY2FsZV9maWxsX3ZpcmlkaXMob3B0aW9uPSJEIikrDQogIHNjYWxlX3lfZGlzY3JldGUoIlJlcGVhdCIpKw0KICBzY2FsZV94X2Rpc2NyZXRlKCJGb2xkcyIpDQogIA0KYGBgDQoNCiMgTW9udGUgQ2FybG8gcmVzYW1wbGluZw0KDQpUYSBjw7MgdGjhu4MgdGhheSBraeG7g20gY2jhu6luZyBjaMOpbyBi4bqxbmcgdMOhaSBjaOG7jW4gbeG6q3UgTW9udGUgQ2FybG8sIGvhur90IHF14bqjIEFjY3VyYWN5IHTGsMahbmcgdOG7sQ0KDQpgYGB7cn0NCiMgTW9udGUgQ2FybG8gY3Jvc3MtdmFsaWRhdGlvbg0KDQptY19vYmogPC0gbWNfY3YodHJhaW5zZXQsIHByb3A9MC44LCB0aW1lcyA9MTAwKQ0KDQptY19vYmokc3BsaXRzWzFdDQoNCm1jX29iaiRyZXN1bHRzIDwtIG1hcChtY19vYmokc3BsaXRzLA0KICAgICAgICAgICAgICAgICAgICAgIGhvbGRvdXRfcmVzdWx0cywNCiAgICAgICAgICAgICAgICAgICAgICBtb2RfZm9ybSkNCg0KbWNfb2JqJGFjY3VyYWN5IDwtIG1hcF9kYmwobWNfb2JqJHJlc3VsdHMsIGZ1bmN0aW9uKHgpIG1lYW4oeCRjb3JyZWN0KSkNCg0KbWNfb2JqJT4lbXV0YXRlKEl0ZXI9YXMubnVtZXJpYyhyb3cubmFtZXMoLikpKSU+JQ0KICBnZ3Bsb3QoYWVzKHg9SXRlcix5PWFjY3VyYWN5KSkrDQogIGdlb21fcGF0aChjb2w9InJlZCIpKw0KICBnZW9tX3BvaW50KHNoYXBlPTIxLGZpbGw9InJlZCIsY29sPSJyZWQ0IikrDQogIGdlb21faGxpbmUobGluZXR5cGU9Mixjb2w9ImJsdWUiLHNpemU9MSx5aW50ZXJjZXB0ID0gbWVkaWFuKG1jX29iaiRhY2N1cmFjeSkpKw0KICB0aGVtZV9idygpDQpgYGANCg0KIyBL4bq/dCBsdeG6rW4NCg0KQsOgaSB0aOG7sWMgaMOgbmggxJHhur9uIMSRw6J5IGzDoCBo4bq/dC4gQ8OhYyBi4bqhbiB24burYSBsw6BtIHF1ZW4gduG7m2kgcGFja2FnZSByc2FtcGxlIGPhu6dhIE1heCBLdWhuIHbDoCBXaWNraGFtLiBOaMawIG5o4buvbmcgcGFja2FnZSBraMOhYyBj4bunYSBo4buNLCByc2FtcGxlIGtow7RuZyBjaOG7iSBsw6AgbeG7mXQgY8O0bmcgY+G7pSBjaHV5w6puIGJp4buHdCBtw6AgbMOgIG3hu5l0IG7hu4FuIHThuqNuZyBwaOG7lSBxdcOhdCBjw7MgdGjhu4MgdMOhaSBz4butIGThu6VuZyBuaGnhu4F1IGzhuqduIHbDoCB0cuG7nyB0aMOgbmggbeG7mXQgYuG7mSBwaOG6rW4gY+G7p2Egbmfhu68gcGjDoXAgUiwgY2hvIHBow6lwIGxpw6puIGvhur90IHbhu5tpIG5o4buvbmcgY8O0bmcgY+G7pSBraMOhYyDEkeG7gyB04bqhbyB0aMOgbmggcXV5IHRyw6xuaCBraMOpcCBrw61uLCDEkcahbiBnaeG6o24gdsOgIHBo4buVIHF1w6F0Lg0KDQpWaeG7h2MgdMOhY2ggcuG7nWkgZGFuaCBzw6FjaCBwaGnDqm4gYuG6o24gZOG7ryBsaeG7h3UsIGjDoG0gcGjDom4gdMOtY2ggbMO1aSBiw6puIHRyb25nIHbDoCBxdXkgdHLDrG5oIG3DtCB04bqjL8SR4buTIGjhu41hIGNobyBwaMOpcCBuZ8aw4budaSBkw7luZyB0w7l5IGNo4buJbmggdsOgIHPDoW5nIHThuqFvIHTDuXkgdGhlbyBt4bulYyB0acOqdSBj4bunYSBtw6xuaC4gQ8OhY2ggbMOgbSB2aeG7h2MgxJHGsOG7o2Mga2h1eeG6v24ga2jDrWNoIMSRw7MgbMOgIHPhu60gZOG7pW5nIGjDoG0gbWFwIGPhu6dhIHBhY2thZ2UgcHVycnIsIGjDoG0gdGlkeSB2w6AgYXVnbWVudGUgY+G7p2EgcGFja2FnZSBicm9vbSBtw6AgTmhpIMSRw6MgZ2nhu5tpIHRoaeG7h3UgdHLGsOG7m2MgxJHDonkuDQoNCsavdSDEkWnhu4NtIGPhu6dhIHBhY2thZ2UgcnNhbXBsZSDEkcOzIGzDoCBuw7MgxJHGoW4gZ2nhuqNuIHThu5FpIMSRYSBxdcOhIHRyw6xuaCB04bqhbyBk4buvIGxp4buHdSB0w6FpIGNo4buNbiBt4bqrdSwgduG7q2EgxJHhuqNtIGLhuqNvIHTDrW5oIG5n4bqrdSBuaGnDqm4sIHbhu6thIGNobyBwaMOpcCB0w7l5IGNo4buJbmggdsOgIHF1YW4gdHLhu41uZyBuaOG6pXQgbMOgIGzGsHUgdHLhu68gY8OhYyBwaGnDqm4gYuG6o24gZOG7ryBsaeG7h3UgbsOgeSBt4buZdCBjw6FjaCB0xrDhu51uZyBtaW5oLCBjaG8gcGjDqXAgdMOhaSBs4bqtcCBr4bq/dCBxdeG6oyBjaOG7qSBraMO0bmcgY2jhuqF5IG5n4bqnbSBuaMawIG5o4buvbmcgcGFja2FnZSBraMOhYy4=