Bank Marketing Prediction with Classification Model
Tito Krisnawati
2024-07-25
1 Introduction
1.1 Our Purpose
Data bank-full.csv merupakan data mengenai telemarketing
dari sebuah bank di Portugal. Data bank-full.csv dapat
dilihat diambil dari link berikut ini : https://archive.ics.uci.edu/dataset/222/bank+marketing.
Pada kesempatan kali ini, saya akan menggunakan data tersebut untuk dapat memprediksi calon nasabah mana yang akan membeli produk (deposito) ketika di telepon oleh pihak bank.
Algoritma yang akan saya gunakan yaitu menggunakan Naive Bayes, Decision Tree dan Random Forest yang termasuk dalam supervised learning.
Kita juga akan evaluasi ketiga model tersebut dan dibandingkan, manakah model yang lebih baik evaluasinya dan berdasarkan dari sisi pemahaman bisnis nantinya, nilai evaluasi apa (accuracy, recall atau precision) yang akan kita jadikan acuan dalam memilih model untuk prediksi apakah produk bank tersebut akan dibeli oleh nasabah atau tidak.
1.2 Preparation
Kita panggil setiap library yang dibutuhkan dalam proses pembuatan model klasifikasi hingga evaluasi dan hasil interpretasi model nantinya.
2 Data Preparation
2.1 Read Dataset
Kita mulai dengan membaca dataset bank-full.csv dan kita
simpan dalam variabel bank. Kemudian untuk mempersingkat
pre-processing data, kita langsung ubah setiap variabel dengan tipe data
character menjadi tipe data factor dengan
menggunakan parameter stringsAsFactors = TRUE.
Kita lihat tipe data dari setiap variabel-variabel dari data kita.
#> Rows: 45,211
#> Columns: 17
#> $ age <int> 58, 44, 33, 47, 33, 35, 28, 42, 58, 43, 41, 29, 53, 58, 57, …
#> $ job <fct> management, technician, entrepreneur, blue-collar, unknown, …
#> $ marital <fct> married, single, married, married, single, married, single, …
#> $ education <fct> tertiary, secondary, secondary, unknown, unknown, tertiary, …
#> $ default <fct> no, no, no, no, no, no, no, yes, no, no, no, no, no, no, no,…
#> $ balance <int> 2143, 29, 2, 1506, 1, 231, 447, 2, 121, 593, 270, 390, 6, 71…
#> $ housing <fct> yes, yes, yes, yes, no, yes, yes, yes, yes, yes, yes, yes, y…
#> $ loan <fct> no, no, yes, no, no, no, yes, no, no, no, no, no, no, no, no…
#> $ contact <fct> unknown, unknown, unknown, unknown, unknown, unknown, unknow…
#> $ day <int> 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5, …
#> $ month <fct> may, may, may, may, may, may, may, may, may, may, may, may, …
#> $ duration <int> 261, 151, 76, 92, 198, 139, 217, 380, 50, 55, 222, 137, 517,…
#> $ campaign <int> 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, …
#> $ pdays <int> -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, …
#> $ previous <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, …
#> $ poutcome <fct> unknown, unknown, unknown, unknown, unknown, unknown, unknow…
#> $ y <fct> no, no, no, no, no, no, no, no, no, no, no, no, no, no, no, …Berdasarkan investigasi di atas, data marketing bank memiliki 45.211 observasi dan 17 variabel. Berikut adalah deskripsi detail dari setiap kolom:
age: usia nasabah (dalam tahun)job: jenis pekerjaan nasabah (categorical: “admin”, “unknown”, “unemployed”, “management”, “housemaid”, “entrepreneur”, “student”, “blue-collar”, “self-employed”, “retired”, “technician”, “services”)marital: status pernikahan nasabah (categorical: “married”, “divorced”, “single”)education: pendidikan nasabah (categorical: “unknown”, “secondary”, “primary”, “tertiary”)default: apakah memiliki kredit? (yes atau no)balance: rata-rata saldo tahunan nasabah (dalam euro)housing: memiliki kredit / pinjaman untuk rumah (yes atau no)loan: memiliki pinjaman pribadi / personal loan (yes atau no)contact: jenis alat komunikasi / kontak (categorical: “unknown”, “telephone”, “cellular”)day: hari terakhir dihubungi dalam bulan inimonth: bulan terakhir dihubungi dalam tahun iniduration: lama durasi saat terakhir dihubungi (dalam satuan detik)campaign: berapa kali banyaknya nasabah dihubungi dalam menawarkan produk ini untuk klien tersebut (termasuk kontak terakhir)pdays: jumlah hari yang berlalu sejak nasabah terakhir dihubungi untuk penawaran produk (-1 berarti nasabah belum pernah dihubungi sebelumnya)previous: jumlah kontak yang dilakukan sebelum penawaran produk ini dan untuk nasabah inipoutcome: hasil dari penawaran produk / pemasaran sebelumnya (categorical: “unknown”, “other”, “failure”, “success”)y: apakah nasabah setuju dengan penawaran produk bank ini (dalam case ini deposito)? (yes atau no)
2.2 Data Wrangling
Kita mencoba untuk melihat persebaran data dari setiap variabel pada data tersebut.
#> age job marital education
#> Min. :18.00 blue-collar:9732 divorced: 5207 primary : 6851
#> 1st Qu.:33.00 management :9458 married :27214 secondary:23202
#> Median :39.00 technician :7597 single :12790 tertiary :13301
#> Mean :40.94 admin. :5171 unknown : 1857
#> 3rd Qu.:48.00 services :4154
#> Max. :95.00 retired :2264
#> (Other) :6835
#> default balance housing loan contact
#> no :44396 Min. : -8019 no :20081 no :37967 cellular :29285
#> yes: 815 1st Qu.: 72 yes:25130 yes: 7244 telephone: 2906
#> Median : 448 unknown :13020
#> Mean : 1362
#> 3rd Qu.: 1428
#> Max. :102127
#>
#> day month duration campaign
#> Min. : 1.00 may :13766 Min. : 0.0 Min. : 1.000
#> 1st Qu.: 8.00 jul : 6895 1st Qu.: 103.0 1st Qu.: 1.000
#> Median :16.00 aug : 6247 Median : 180.0 Median : 2.000
#> Mean :15.81 jun : 5341 Mean : 258.2 Mean : 2.764
#> 3rd Qu.:21.00 nov : 3970 3rd Qu.: 319.0 3rd Qu.: 3.000
#> Max. :31.00 apr : 2932 Max. :4918.0 Max. :63.000
#> (Other): 6060
#> pdays previous poutcome y
#> Min. : -1.0 Min. : 0.0000 failure: 4901 no :39922
#> 1st Qu.: -1.0 1st Qu.: 0.0000 other : 1840 yes: 5289
#> Median : -1.0 Median : 0.0000 success: 1511
#> Mean : 40.2 Mean : 0.5803 unknown:36959
#> 3rd Qu.: -1.0 3rd Qu.: 0.0000
#> Max. :871.0 Max. :275.0000
#> 2.3 Cross-validation
Sebelum kita membuat model, kita harus membagi dataset menjadi data
train dan test. Kita bagi data dengan proporsi 80% train dan 20% test
menggunakan fungsi sample(), set.seed(100),
dan simpan ke dalam object data_train dan
data_test.
RNGkind(sample.kind = "Rounding")
set.seed(100)
split_bank <- sample(nrow(bank), nrow(bank)*0.80)
data_train <- bank[split_bank, ]
data_test <- bank[-split_bank, ] Kita lihat proporsi kelas target pada data train untuk memastikan apakah data train memiliki proporsi kelas target yang seimbang.
Yang menjadi variabel target kita adalah
y, yaitu apakah nasabah setuju dengan penawaran produk bank ini (dalam case ini deposito)?
#>
#> no yes
#> 0.8828799 0.1171201Berdasarkan proporsi di atas, dapat disimpulkan bahwa proporsi kelas target tidak seimbang.
Jadi, kita harus menyeimbangkannya sebelum menggunakannya pada model
kita. Kita akan menggunakan metode downsampling pada
data_train menggunakan fungsi downSample(),
lalu kita simpan data hasil downsample dalam object
data_train_down.
set.seed(100)
data_train_down <- downSample(
x = data_train %>% select(-y),
y = data_train$y,
yname = "y"
)
head(data_train_down)Kita lihat sekarang proporsi kelas target kita pada data train kita
yang baru yaitu data_train_down.
#>
#> no yes
#> 0.5 0.5Berdasarkan proporsi di atas, dapat disimpulkan bahwa proporsi kelas target sudah seimbang.
Jadi, untuk tahapan selanjutnya, kita akan menggunkan
data_train_downuntuk pembuatan model Naive Bayes, Decision Tree, dan Random Forest.
3 Naive Bayes
Setelah membagi data menjadi data train dan test serta melakukan downsample pada data train, kita akan membuat model pertama dengan algoritma Naive Bayes.
#>
#> Naive Bayes Classifier for Discrete Predictors
#>
#> Call:
#> naiveBayes.default(x = X, y = Y, laplace = laplace)
#>
#> A-priori probabilities:
#> Y
#> no yes
#> 0.5 0.5
#>
#> Conditional probabilities:
#> age
#> Y [,1] [,2]
#> no 40.61284 10.03323
#> yes 41.66667 13.57682
#>
#> job
#> Y admin. blue-collar entrepreneur housemaid management retired
#> no 0.113935970 0.224105461 0.040489642 0.030838041 0.209039548 0.041431262
#> yes 0.121704331 0.135122411 0.022598870 0.019303202 0.243644068 0.099340866
#> job
#> Y self-employed services student technician unemployed unknown
#> no 0.029425612 0.090866290 0.015301318 0.173022599 0.027542373 0.004001883
#> yes 0.035781544 0.069915254 0.049435028 0.158662900 0.038370998 0.006120527
#>
#> marital
#> Y divorced married single
#> no 0.1255013 0.5925926 0.2819061
#> yes 0.1167728 0.5265393 0.3566879
#>
#> education
#> Y primary secondary tertiary unknown
#> no 0.15731132 0.51816038 0.28396226 0.04056604
#> yes 0.10872642 0.46603774 0.37806604 0.04716981
#>
#> default
#> Y no yes
#> no 0.981595092 0.018404908
#> yes 0.990089665 0.009910335
#>
#> balance
#> Y [,1] [,2]
#> no 1319.349 3037.550
#> yes 1774.883 3296.673
#>
#> housing
#> Y no yes
#> no 0.4131666 0.5868334
#> yes 0.6359132 0.3640868
#>
#> loan
#> Y no yes
#> no 0.83223218 0.16776782
#> yes 0.90797546 0.09202454
#>
#> contact
#> Y cellular telephone unknown
#> no 0.62845011 0.05685303 0.31469686
#> yes 0.82495872 0.07242274 0.10261854
#>
#> day
#> Y [,1] [,2]
#> no 15.76346 8.336333
#> yes 15.12512 8.534833
#>
#> month
#> Y apr aug dec feb jan jul
#> no 0.056261770 0.132532957 0.002824859 0.059557439 0.029425612 0.162429379
#> yes 0.107580038 0.128295669 0.018832392 0.082391714 0.027306968 0.118173258
#> month
#> Y jun mar may nov oct sep
#> no 0.115583804 0.006355932 0.324152542 0.096280603 0.006826742 0.007768362
#> yes 0.105461394 0.048728814 0.172551789 0.076741996 0.060969868 0.052966102
#>
#> duration
#> Y [,1] [,2]
#> no 222.9223 220.2597
#> yes 532.4193 388.9317
#>
#> campaign
#> Y [,1] [,2]
#> no 2.774551 3.126748
#> yes 2.151322 1.938609
#>
#> pdays
#> Y [,1] [,2]
#> no 36.68343 97.28088
#> yes 66.49315 116.13519
#>
#> previous
#> Y [,1] [,2]
#> no 0.5889991 4.639023
#> yes 1.1602927 2.556477
#>
#> poutcome
#> Y failure other success unknown
#> no 0.10660377 0.04221698 0.01179245 0.83938679
#> yes 0.11415094 0.05683962 0.18490566 0.644103773.1 Prediksi Model Naive Bayes
Kita akan melakukan prediksi ke data test menggunakan
model_naive. Kita menggunakan fungsi predict()
dengan parameter type = "class" untuk mendapatkan prediksi
kelas. Kemudian kita menyimpan hasil prediksi ke dalam object
pred_naive.
3.2 Evaluasi Model Naive Bayes
Bagian terakhir, kita melakukan evaluasi model. Kita dapat memeriksa
performa model Naive Bayes menggunakan confusionMatrix()
dan membandingkan kelas hasil prediksi (pred_naive) dengan
label sebenarnya dari data_test. Kita set status nasabah
yang mengambil produk (deposito) yang telah ditawarkan sebagai kelas
positif (positive = "yes").
#> Confusion Matrix and Statistics
#>
#> Reference
#> Prediction no yes
#> no 5659 159
#> yes 2331 894
#>
#> Accuracy : 0.7246
#> 95% CI : (0.7153, 0.7338)
#> No Information Rate : 0.8836
#> P-Value [Acc > NIR] : 1
#>
#> Kappa : 0.294
#>
#> Mcnemar's Test P-Value : <0.0000000000000002
#>
#> Sensitivity : 0.84900
#> Specificity : 0.70826
#> Pos Pred Value : 0.27721
#> Neg Pred Value : 0.97267
#> Precision : 0.27721
#> Recall : 0.84900
#> F1 : 0.41795
#> Prevalence : 0.11644
#> Detection Rate : 0.09886
#> Detection Prevalence : 0.35663
#> Balanced Accuracy : 0.77863
#>
#> 'Positive' Class : yes
#> 4 Decision Tree
Sekarang, mari kita buat model Decision Tree
menggunakan fungsi ctree() dan simpan ke dalam object
model_dt. Untuk melakukan tuning model, mari kita
atur parameter mincriterion = 0.95.
set.seed(100)
model_dt <- ctree(formula = y ~ .,
data = data_train_down,
control = ctree_control(mincriterion = 0.95))Untuk mendapatkan penggambaran yang lebih baik tentang model, mari
kita buat plot dari model dan gunakan parameter
type = "simple".
4.1 Prediksi Model Decision Tree
Setelah kita membuat model, coba lakukan prediksi ke data test
berdasarkan model_dt menggunakan fungsi
predict() dengan mengatur parameter
type = "response".
4.2 Evaluasi Model Decision Tree
Untuk memeriksa performa model, kita dapat menggunakan
confusionMatrix(). Kita set status nasabah yang mengambil
produk (deposito) yang telah ditawarkan sebagai kelas positif
(positive = "yes").
#> Confusion Matrix and Statistics
#>
#> Reference
#> Prediction no yes
#> no 6453 130
#> yes 1537 923
#>
#> Accuracy : 0.8157
#> 95% CI : (0.8075, 0.8236)
#> No Information Rate : 0.8836
#> P-Value [Acc > NIR] : 1
#>
#> Kappa : 0.433
#>
#> Mcnemar's Test P-Value : <0.0000000000000002
#>
#> Sensitivity : 0.8765
#> Specificity : 0.8076
#> Pos Pred Value : 0.3752
#> Neg Pred Value : 0.9803
#> Precision : 0.3752
#> Recall : 0.8765
#> F1 : 0.5255
#> Prevalence : 0.1164
#> Detection Rate : 0.1021
#> Detection Prevalence : 0.2720
#> Balanced Accuracy : 0.8421
#>
#> 'Positive' Class : yes
#> 5 Random Forest
Model terakhir yang akan kita buat adalah Random Forest.
Sekarang, kita akan coba eksplorasi model Random Forest yang dibuat dengan menggunakan hyperparameter di bawah ini:
set.seed(100)-> angka seednumber = 5-> jumlah k-fold cross-validationrepeats = 3-> jumlah iterasi
Perintah di bawah ini dikomen, agar ketika di-knit tidak perlu dijalankan kembali
#set.seed(100)
# # definisikan training control untuk repeated k-fold cross validation
# train_ctrl <- trainControl(method = "repeatedcv",
# number = 5, # seberapa banyak kita ingin membagi data
# repeats = 3)
# # training model random forest dengan train()
# bank_forest <- train(y ~ .,
# data = data_train_down,
# method = "rf", # pilih metode random forest
# trControl = train_ctrl)Salah satu kelemahan Random Forest adalah pembuatan model yang
membutuhkan waktu yang cukup lama. Practice yang baik selesai melakukan
training adalah menyimpan model tersebut ke dalam bentuk file RDS dengan
function saveRDS() agar model dapat langsung digunakan
tanpa harus training dari awal. Jadi, agar bisa digunakan lebih cepat
kedepannya, kita simpan model Random Forest yang telah kita buat
tersebut yaitu bank_forest dalam sebuah file
model_rf.RDS.
Perintah ini dikomen agar ketika di-knit tidak dijalankan kembali, karena model sudah dibentuk
Untuk membaca model Random Forest yang sudah disimpan
(model_rf.RDS), kita dapat menggunakan fungsi
readRDS() dan simpan ke dalam object
bank_forest.
Kemudian, lihatlah rangkuman final model dari model Random Forest
menggunakan bank_forest$finalModel.
#>
#> Call:
#> randomForest(x = x, y = y, mtry = param$mtry)
#> Type of random forest: classification
#> Number of trees: 500
#> No. of variables tried at each split: 22
#>
#> OOB estimate of error rate: 13.86%
#> Confusion matrix:
#> no yes class.error
#> no 3522 714 0.1685552
#> yes 460 3776 0.1085930Dalam praktiknya, Random Forest telah memiliki estimasi out-of-bag (OOB) yang merepresentasikan akurasi pada out-of-bag data (data yang tidak diambil ketika sampling/tidak digunakan dalam pembuatan Random Forest).
Kita juga bisa menggunakan informasi Variable Importance, untuk mendapatkan daftar variabel penting yang digunakan pada model Random Forest. Banyak yang berargumen bahwa Random Forest, sebagai model Black Box, tidak dapat menawarkan informasi penting lain selain akurasinya yang amat tinggi. Namun, memberikan perhatian khusus pada atribut seperti Variable Importance sering kali membantu kita dalam mendapatkan informasi berharga tentang data.
Untuk menentukan variabel yang memiliki pengaruh penting dalam
menghasilkan prediksi (Variable Importance), kita dapat
menggunakan fungsi varImp(), kemudian kita masukkan ke
dalam fungsi plot() untuk mendapatkan visualisasinya.
5.1 Prediksi Model Random Forest
Setelah membangun model, kini kita dapat memprediksi data test
menggunakan bank_forest, Gunakan fungsi
predict() dan atur parameter type = "raw"
untuk mendapatkan prediksi kelas.
5.2 Evaluasi Model Random Forest
Selanjutnya, kita evaluasi model Random Forest dengan fungsi
confusionMatrix().
#> Confusion Matrix and Statistics
#>
#> Reference
#> Prediction no yes
#> no 6630 108
#> yes 1360 945
#>
#> Accuracy : 0.8377
#> 95% CI : (0.8299, 0.8452)
#> No Information Rate : 0.8836
#> P-Value [Acc > NIR] : 1
#>
#> Kappa : 0.4797
#>
#> Mcnemar's Test P-Value : <0.0000000000000002
#>
#> Sensitivity : 0.8974
#> Specificity : 0.8298
#> Pos Pred Value : 0.4100
#> Neg Pred Value : 0.9840
#> Precision : 0.4100
#> Recall : 0.8974
#> F1 : 0.5628
#> Prevalence : 0.1164
#> Detection Rate : 0.1045
#> Detection Prevalence : 0.2549
#> Balanced Accuracy : 0.8636
#>
#> 'Positive' Class : yes
#> Cara lain untuk mengevaluasi performa model adalah dengan melihat
nilai ROC dan AUC-nya. Untuk menghitungnya, kita membutuhkan
probabilitas ke kelas positif untuk setiap observasi. Mari
fokus pada nilai ROC dan AUC dari prediksi model Random Forest. Pertama,
lakukan prediksi ke data test menggunakan bank_forest
dengan menggunakan parameter type = "prob". Akan dihasilkan
prediksi nilai probabilitas untuk setiap kelas. Anda dapat menyimpan
hasil prediksi ke dalam object prob_test.
#> [1] 0.002 0.022 0.000 0.008 0.010 0.008 0.002 0.000 0.000 0.552 0.010 0.114
#> [13] 0.004 0.002 0.000 0.000 0.002 0.018 0.000 0.574 0.008 0.038 0.006 0.728
#> [25] 0.000 0.006 0.002 0.008 0.206 0.554 0.886 0.008 0.006 0.612 0.000 0.176
#> [37] 0.014 0.002 0.016 0.000 0.000 0.000 0.000 0.004 0.228 0.890 0.012 0.014
#> [49] 0.000 0.004 0.000 0.002 0.004 0.004 0.002 0.056 0.000 0.094 0.004 0.000
#> [61] 0.002 0.426 0.820 0.102 0.022 0.710 0.006 0.004 0.764 0.014 0.000 0.000
#> [73] 0.002 0.412 0.008 0.036 0.010 0.002 0.004 0.604 0.840 0.004 0.000 0.000
#> [85] 0.000 0.586 0.000 0.000 0.030 0.002 0.004 0.002 0.026 0.004 0.000 0.004
#> [97] 0.004 0.002 0.000 0.006 0.002 0.022 0.000 0.422 0.022 0.044 0.014 0.004
#> [109] 0.000 0.012 0.004 0.020 0.000 0.444 0.126 0.006 0.000 0.000 0.002 0.086
#> [121] 0.000 0.176 0.030 0.008 0.000 0.000 0.014 0.032 0.000 0.012 0.002 0.240
#> [133] 0.002 0.000 0.012 0.004 0.000 0.000 0.000 0.000 0.002 0.004 0.030 0.000
#> [145] 0.000 0.002 0.006 0.010 0.000 0.900 0.002 0.032 0.000 0.002 0.294 0.006
#> [157] 0.000 0.004 0.000 0.000 0.000 0.000 0.000 0.006 0.000 0.002 0.120 0.032
#> [169] 0.012 0.004 0.064 0.576 0.000 0.010 0.626 0.004 0.000 0.004 0.016 0.002
#> [181] 0.008 0.014 0.006 0.074 0.002 0.000 0.296 0.008 0.010 0.412 0.000 0.000
#> [193] 0.622 0.060 0.000 0.004 0.014 0.064 0.074 0.004 0.006 0.000 0.000 0.004
#> [205] 0.002 0.088 0.028 0.004 0.004 0.000 0.002 0.010 0.756 0.448 0.008 0.000
#> [217] 0.004 0.004 0.000 0.676 0.000 0.020 0.020 0.006 0.818 0.020 0.950 0.004
#> [229] 0.004 0.014 0.008 0.000 0.852 0.194 0.002 0.004 0.000 0.000 0.200 0.618
#> [241] 0.024 0.006 0.002 0.000 0.004 0.000 0.006 0.016 0.550 0.000 0.004 0.000
#> [253] 0.004 0.004 0.002 0.000 0.004 0.002 0.008 0.004 0.004 0.022 0.000 0.002
#> [265] 0.006 0.042 0.000 0.002 0.000 0.000 0.100 0.014 0.012 0.698 0.004 0.002
#> [277] 0.066 0.000 0.002 0.004 0.010 0.152 0.002 0.004 0.006 0.008 0.000 0.002
#> [289] 0.000 0.022 0.016 0.012 0.000 0.018 0.000 0.034 0.006 0.042 0.004 0.006
#> [301] 0.680 0.028 0.330 0.002 0.000 0.056 0.004 0.020 0.004 0.182 0.000 0.232
#> [313] 0.000 0.134 0.000 0.004 0.000 0.002 0.004 0.000 0.010 0.000 0.002 0.000
#> [325] 0.000 0.002 0.000 0.018 0.002 0.000 0.002 0.008 0.000 0.002 0.000 0.000
#> [337] 0.010 0.004 0.020 0.008 0.000 0.452 0.002 0.004 0.034 0.000 0.020 0.016
#> [349] 0.084 0.000 0.000 0.004 0.000 0.020 0.002 0.008 0.002 0.778 0.008 0.000
#> [361] 0.024 0.898 0.000 0.002 0.006 0.002 0.002 0.008 0.002 0.892 0.014 0.020
#> [373] 0.002 0.032 0.000 0.002 0.632 0.006 0.006 0.000 0.038 0.008 0.136 0.002
#> [385] 0.004 0.000 0.000 0.006 0.002 0.000 0.002 0.016 0.008 0.004 0.020 0.002
#> [397] 0.020 0.000 0.004 0.012 0.008 0.010 0.014 0.004 0.002 0.018 0.016 0.686
#> [409] 0.000 0.002 0.014 0.744 0.010 0.008 0.024 0.012 0.018 0.026 0.000 0.004
#> [421] 0.008 0.000 0.970 0.002 0.000 0.628 0.008 0.900 0.004 0.002 0.666 0.006
#> [433] 0.672 0.014 0.000 0.424 0.000 0.186 0.138 0.004 0.002 0.122 0.064 0.000
#> [445] 0.728 0.000 0.012 0.008 0.000 0.002 0.074 0.000 0.000 0.002 0.062 0.020
#> [457] 0.002 0.028 0.004 0.038 0.000 0.000 0.008 0.000 0.002 0.002 0.006 0.010
#> [469] 0.002 0.002 0.592 0.010 0.952 0.002 0.000 0.006 0.008 0.014 0.000 0.014
#> [481] 0.092 0.630 0.008 0.000 0.016 0.048 0.000 0.004 0.004 0.004 0.004 0.000
#> [493] 0.004 0.580 0.028 0.002 0.534 0.050 0.516 0.000 0.658 0.008 0.020 0.426
#> [505] 0.052 0.844 0.456 0.006 0.000 0.006 0.080 0.014 0.020 0.008 0.004 0.000
#> [517] 0.010 0.308 0.002 0.006 0.002 0.014 0.014 0.000 0.000 0.004 0.000 0.000
#> [529] 0.030 0.008 0.018 0.004 0.026 0.002 0.000 0.054 0.000 0.000 0.000 0.000
#> [541] 0.010 0.026 0.000 0.012 0.000 0.006 0.000 0.034 0.000 0.000 0.000 0.000
#> [553] 0.002 0.952 0.240 0.000 0.000 0.002 0.012 0.000 0.138 0.018 0.740 0.008
#> [565] 0.072 0.006 0.000 0.002 0.002 0.002 0.004 0.002 0.134 0.002 0.000 0.006
#> [577] 0.000 0.002 0.052 0.010 0.000 0.000 0.000 0.000 0.004 0.000 0.006 0.002
#> [589] 0.176 0.020 0.012 0.080 0.012 0.002 0.002 0.004 0.000 0.006 0.000 0.004
#> [601] 0.002 0.076 0.006 0.752 0.198 0.144 0.008 0.020 0.516 0.004 0.000 0.000
#> [613] 0.004 0.000 0.004 0.044 0.006 0.236 0.000 0.000 0.000 0.038 0.002 0.872
#> [625] 0.800 0.388 0.936 0.002 0.016 0.002 0.002 0.002 0.000 0.070 0.664 0.780
#> [637] 0.010 0.038 0.004 0.306 0.000 0.000 0.738 0.008 0.086 0.002 0.002 0.004
#> [649] 0.122 0.004 0.922 0.002 0.010 0.008 0.000 0.000 0.002 0.014 0.004 0.000
#> [661] 0.004 0.006 0.312 0.008 0.002 0.008 0.006 0.006 0.806 0.000 0.004 0.008
#> [673] 0.000 0.004 0.002 0.000 0.004 0.002 0.000 0.884 0.000 0.000 0.004 0.004
#> [685] 0.000 0.018 0.006 0.002 0.002 0.068 0.016 0.000 0.670 0.012 0.006 0.000
#> [697] 0.020 0.000 0.002 0.002 0.008 0.010 0.000 0.864 0.000 0.008 0.012 0.002
#> [709] 0.768 0.006 0.000 0.000 0.004 0.002 0.810 0.032 0.486 0.130 0.000 0.060
#> [721] 0.004 0.098 0.016 0.000 0.006 0.966 0.000 0.576 0.004 0.004 0.004 0.194
#> [733] 0.386 0.006 0.796 0.002 0.008 0.884 0.430 0.774 0.006 0.000 0.004 0.894
#> [745] 0.012 0.004 0.014 0.006 0.002 0.002 0.004 0.010 0.008 0.604 0.004 0.068
#> [757] 0.072 0.008 0.002 0.004 0.000 0.370 0.408 0.002 0.000 0.008 0.024 0.534
#> [769] 0.834 0.002 0.010 0.084 0.034 0.004 0.002 0.028 0.000 0.000 0.002 0.004
#> [781] 0.000 0.486 0.000 0.012 0.000 0.118 0.910 0.002 0.002 0.008 0.754 0.004
#> [793] 0.000 0.570 0.004 0.000 0.142 0.052 0.300 0.004 0.002 0.002 0.016 0.000
#> [805] 0.068 0.000 0.014 0.008 0.014 0.164 0.000 0.456 0.002 0.000 0.048 0.000
#> [817] 0.000 0.030 0.000 0.004 0.976 0.908 0.006 0.006 0.000 0.008 0.002 0.002
#> [829] 0.916 0.004 0.010 0.000 0.000 0.000 0.000 0.010 0.000 0.606 0.000 0.006
#> [841] 0.040 0.042 0.004 0.774 0.002 0.000 0.010 0.006 0.026 0.082 0.010 0.000
#> [853] 0.002 0.014 0.000 0.004 0.000 0.582 0.000 0.006 0.002 0.034 0.222 0.006
#> [865] 0.056 0.000 0.000 0.742 0.000 0.004 0.000 0.078 0.004 0.004 0.006 0.004
#> [877] 0.004 0.008 0.016 0.018 0.002 0.848 0.006 0.000 0.002 0.004 0.000 0.280
#> [889] 0.002 0.000 0.000 0.006 0.938 0.004 0.004 0.014 0.004 0.000 0.002 0.000
#> [901] 0.820 0.000 0.004 0.002 0.016 0.004 0.122 0.658 0.000 0.004 0.004 0.008
#> [913] 0.004 0.004 0.000 0.028 0.000 0.010 0.000 0.002 0.002 0.004 0.028 0.128
#> [925] 0.286 0.000 0.006 0.054 0.354 0.000 0.002 0.000 0.000 0.086 0.048 0.002
#> [937] 0.012 0.602 0.004 0.012 0.266 0.000 0.000 0.002 0.000 0.016 0.686 0.300
#> [949] 0.310 0.004 0.000 0.006 0.000 0.000 0.000 0.828 0.334 0.010 0.008 0.000
#> [961] 0.002 0.000 0.468 0.072 0.000 0.006 0.004 0.198 0.014 0.000 0.024 0.046
#> [973] 0.000 0.002 0.004 0.020 0.014 0.006 0.000 0.032 0.000 0.456 0.006 0.004
#> [985] 0.000 0.000 0.644 0.004 0.172 0.002 0.782 0.228 0.008 0.000 0.742 0.002
#> [997] 0.000 0.000 0.000 0.966 0.002 0.000 0.018 0.000 0.530 0.380 0.002 0.000
#> [1009] 0.770 0.002 0.010 0.714 0.846 0.814 0.010 0.000 0.008 0.232 0.206 0.000
#> [1021] 0.000 0.514 0.098 0.080 0.000 0.004 0.000 0.006 0.000 0.004 0.382 0.000
#> [1033] 0.002 0.000 0.694 0.002 0.004 0.088 0.006 0.002 0.000 0.000 0.314 0.008
#> [1045] 0.000 0.020 0.138 0.002 0.008 0.004 0.032 0.006 0.000 0.008 0.002 0.002
#> [1057] 0.000 0.004 0.002 0.064 0.000 0.002 0.964 0.000 0.010 0.004 0.554 0.010
#> [1069] 0.000 0.002 0.000 0.000 0.494 0.348 0.044 0.000 0.486 0.002 0.008 0.918
#> [1081] 0.004 0.172 0.838 0.004 0.008 0.006 0.012 0.000 0.006 0.852 0.004 0.098
#> [1093] 0.000 0.956 0.606 0.000 0.004 0.000 0.006 0.006 0.014 0.002 0.004 0.138
#> [1105] 0.004 0.002 0.158 0.768 0.006 0.006 0.038 0.092 0.024 0.006 0.046 0.000
#> [1117] 0.008 0.002 0.002 0.318 0.712 0.004 0.022 0.004 0.042 0.016 0.006 0.072
#> [1129] 0.012 0.008 0.000 0.004 0.000 0.004 0.022 0.346 0.002 0.780 0.002 0.016
#> [1141] 0.000 0.008 0.012 0.004 0.002 0.082 0.008 0.000 0.016 0.134 0.000 0.000
#> [1153] 0.008 0.002 0.766 0.292 0.052 0.006 0.008 0.890 0.000 0.032 0.016 0.006
#> [1165] 0.002 0.006 0.186 0.536 0.238 0.000 0.000 0.024 0.006 0.002 0.006 0.006
#> [1177] 0.080 0.012 0.238 0.026 0.288 0.184 0.000 0.114 0.008 0.028 0.014 0.562
#> [1189] 0.006 0.008 0.000 0.016 0.018 0.008 0.006 0.010 0.002 0.002 0.006 0.020
#> [1201] 0.014 0.004 0.000 0.006 0.000 0.010 0.004 0.002 0.004 0.008 0.002 0.000
#> [1213] 0.070 0.014 0.002 0.006 0.040 0.002 0.006 0.012 0.174 0.004 0.012 0.022
#> [1225] 0.002 0.002 0.032 0.008 0.002 0.740 0.000 0.004 0.002 0.022 0.002 0.006
#> [1237] 0.046 0.006 0.000 0.002 0.016 0.158 0.094 0.004 0.018 0.012 0.002 0.042
#> [1249] 0.000 0.008 0.068 0.004 0.006 0.006 0.070 0.000 0.012 0.006 0.012 0.004
#> [1261] 0.102 0.018 0.010 0.698 0.036 0.002 0.862 0.006 0.000 0.000 0.002 0.004
#> [1273] 0.000 0.018 0.002 0.142 0.026 0.012 0.004 0.004 0.024 0.002 0.694 0.006
#> [1285] 0.072 0.128 0.004 0.000 0.006 0.010 0.020 0.910 0.002 0.004 0.006 0.006
#> [1297] 0.000 0.358 0.022 0.016 0.036 0.000 0.224 0.196 0.008 0.052 0.666 0.016
#> [1309] 0.006 0.278 0.022 0.014 0.012 0.000 0.150 0.004 0.004 0.002 0.006 0.026
#> [1321] 0.006 0.002 0.000 0.066 0.068 0.198 0.012 0.008 0.014 0.000 0.000 0.006
#> [1333] 0.000 0.000 0.014 0.522 0.002 0.016 0.024 0.214 0.702 0.000 0.012 0.006
#> [1345] 0.808 0.008 0.002 0.220 0.024 0.844 0.620 0.000 0.002 0.008 0.004 0.004
#> [1357] 0.018 0.002 0.008 0.088 0.002 0.324 0.010 0.004 0.002 0.006 0.006 0.006
#> [1369] 0.000 0.100 0.000 0.002 0.306 0.002 0.002 0.002 0.008 0.002 0.234 0.000
#> [1381] 0.008 0.028 0.048 0.000 0.000 0.008 0.024 0.004 0.010 0.000 0.028 0.006
#> [1393] 0.004 0.822 0.002 0.002 0.330 0.020 0.162 0.028 0.558 0.002 0.000 0.016
#> [1405] 0.000 0.008 0.012 0.140 0.000 0.000 0.010 0.004 0.004 0.006 0.028 0.000
#> [1417] 0.000 0.014 0.044 0.008 0.000 0.006 0.232 0.068 0.000 0.000 0.628 0.008
#> [1429] 0.576 0.542 0.068 0.006 0.002 0.002 0.060 0.006 0.368 0.004 0.000 0.838
#> [1441] 0.076 0.056 0.002 0.198 0.014 0.678 0.004 0.028 0.858 0.004 0.018 0.006
#> [1453] 0.004 0.006 0.000 0.260 0.006 0.004 0.006 0.124 0.006 0.000 0.268 0.870
#> [1465] 0.004 0.012 0.032 0.002 0.004 0.002 0.064 0.006 0.280 0.004 0.002 0.016
#> [1477] 0.000 0.004 0.762 0.004 0.024 0.002 0.018 0.952 0.004 0.006 0.064 0.010
#> [1489] 0.002 0.016 0.002 0.550 0.000 0.000 0.006 0.018 0.006 0.478 0.018 0.012
#> [1501] 0.000 0.004 0.166 0.016 0.000 0.000 0.072 0.004 0.008 0.004 0.016 0.024
#> [1513] 0.002 0.022 0.118 0.004 0.008 0.794 0.000 0.008 0.516 0.006 0.004 0.002
#> [1525] 0.008 0.008 0.176 0.312 0.020 0.014 0.048 0.004 0.010 0.340 0.032 0.078
#> [1537] 0.002 0.000 0.012 0.006 0.004 0.012 0.662 0.332 0.006 0.054 0.792 0.156
#> [1549] 0.028 0.012 0.002 0.000 0.288 0.932 0.004 0.014 0.004 0.066 0.312 0.500
#> [1561] 0.022 0.034 0.006 0.000 0.096 0.000 0.464 0.000 0.080 0.698 0.004 0.004
#> [1573] 0.098 0.004 0.032 0.102 0.000 0.014 0.002 0.040 0.036 0.004 0.004 0.034
#> [1585] 0.004 0.008 0.086 0.028 0.002 0.014 0.946 0.402 0.870 0.000 0.008 0.000
#> [1597] 0.012 0.030 0.010 0.004 0.946 0.028 0.088 0.024 0.046 0.036 0.026 0.034
#> [1609] 0.040 0.006 0.036 0.216 0.158 0.062 0.616 0.122 0.404 0.042 0.036 0.138
#> [1621] 0.556 0.764 0.150 0.086 0.130 0.288 0.138 0.070 0.068 0.064 0.014 0.042
#> [1633] 0.048 0.864 0.758 0.030 0.232 0.014 0.032 0.060 0.028 0.122 0.854 0.014
#> [1645] 0.420 0.370 0.044 0.180 0.090 0.032 0.000 0.422 0.016 0.056 0.048 0.028
#> [1657] 0.122 0.492 0.030 0.028 0.092 0.056 0.050 0.774 0.022 0.036 0.052 0.038
#> [1669] 0.004 0.198 0.048 0.086 0.040 0.804 0.030 0.026 0.150 0.664 0.042 0.024
#> [1681] 0.032 0.050 0.028 0.144 0.070 0.014 0.886 0.048 0.008 0.036 0.020 0.036
#> [1693] 0.000 0.062 0.054 0.008 0.028 0.598 0.028 0.008 0.010 0.068 0.004 0.006
#> [1705] 0.014 0.004 0.218 0.042 0.056 0.038 0.024 0.120 0.016 0.048 0.014 0.328
#> [1717] 0.022 0.686 0.028 0.658 0.042 0.026 0.032 0.012 0.156 0.034 0.598 0.012
#> [1729] 0.248 0.094 0.026 0.524 0.052 0.034 0.012 0.090 0.004 0.048 0.034 0.254
#> [1741] 0.016 0.044 0.040 0.092 0.108 0.036 0.018 0.058 0.032 0.106 0.018 0.068
#> [1753] 0.264 0.242 0.644 0.036 0.014 0.098 0.048 0.072 0.012 0.748 0.028 0.008
#> [1765] 0.100 0.020 0.056 0.046 0.084 0.038 0.034 0.882 0.024 0.106 0.014 0.042
#> [1777] 0.044 0.038 0.032 0.710 0.018 0.070 0.854 0.038 0.004 0.024 0.014 0.002
#> [1789] 0.010 0.098 0.010 0.034 0.716 0.024 0.814 0.334 0.046 0.020 0.012 0.810
#> [1801] 0.006 0.742 0.026 0.018 0.004 0.176 0.002 0.008 0.002 0.064 0.010 0.036
#> [1813] 0.050 0.038 0.054 0.864 0.002 0.232 0.022 0.292 0.910 0.064 0.000 0.204
#> [1825] 0.030 0.868 0.034 0.012 0.034 0.028 0.106 0.036 0.624 0.256 0.028 0.036
#> [1837] 0.004 0.020 0.010 0.238 0.796 0.026 0.690 0.034 0.010 0.020 0.030 0.722
#> [1849] 0.008 0.042 0.030 0.018 0.000 0.030 0.010 0.046 0.018 0.012 0.032 0.006
#> [1861] 0.018 0.028 0.042 0.954 0.042 0.810 0.042 0.036 0.034 0.040 0.000 0.016
#> [1873] 0.004 0.036 0.046 0.042 0.004 0.232 0.018 0.046 0.234 0.922 0.014 0.016
#> [1885] 0.016 0.014 0.002 0.182 0.262 0.026 0.054 0.004 0.012 0.010 0.032 0.026
#> [1897] 0.008 0.014 0.036 0.026 0.708 0.022 0.794 0.046 0.020 0.060 0.792 0.022
#> [1909] 0.044 0.902 0.086 0.036 0.010 0.028 0.026 0.018 0.024 0.000 0.046 0.034
#> [1921] 0.212 0.032 0.002 0.028 0.476 0.026 0.048 0.016 0.068 0.416 0.056 0.032
#> [1933] 0.552 0.074 0.002 0.002 0.592 0.078 0.020 0.000 0.022 0.654 0.008 0.042
#> [1945] 0.028 0.010 0.080 0.500 0.434 0.002 0.012 0.060 0.026 0.190 0.060 0.068
#> [1957] 0.052 0.008 0.036 0.046 0.070 0.008 0.044 0.038 0.012 0.002 0.028 0.014
#> [1969] 0.036 0.018 0.034 0.948 0.030 0.422 0.042 0.006 0.002 0.220 0.036 0.934
#> [1981] 0.004 0.234 0.018 0.022 0.496 0.018 0.078 0.662 0.126 0.010 0.728 0.030
#> [1993] 0.052 0.008 0.002 0.038 0.040 0.024 0.076 0.006 0.794 0.018 0.078 0.020
#> [2005] 0.086 0.004 0.004 0.050 0.032 0.036 0.048 0.078 0.530 0.006 0.008 0.050
#> [2017] 0.312 0.010 0.808 0.094 0.066 0.014 0.020 0.624 0.048 0.014 0.458 0.014
#> [2029] 0.076 0.034 0.004 0.030 0.008 0.616 0.030 0.032 0.024 0.036 0.036 0.014
#> [2041] 0.010 0.020 0.006 0.008 0.200 0.004 0.026 0.040 0.014 0.010 0.018 0.012
#> [2053] 0.034 0.258 0.020 0.032 0.046 0.006 0.044 0.862 0.046 0.016 0.528 0.000
#> [2065] 0.640 0.068 0.008 0.026 0.018 0.012 0.026 0.022 0.010 0.480 0.514 0.042
#> [2077] 0.098 0.020 0.008 0.008 0.022 0.036 0.010 0.614 0.050 0.014 0.058 0.038
#> [2089] 0.022 0.268 0.078 0.010 0.764 0.006 0.008 0.956 0.032 0.002 0.004 0.112
#> [2101] 0.112 0.048 0.252 0.038 0.044 0.020 0.040 0.002 0.020 0.750 0.026 0.018
#> [2113] 0.010 0.004 0.516 0.030 0.022 0.022 0.720 0.008 0.080 0.024 0.044 0.018
#> [2125] 0.016 0.034 0.024 0.004 0.814 0.132 0.100 0.016 0.160 0.010 0.008 0.000
#> [2137] 0.012 0.022 0.002 0.046 0.030 0.012 0.056 0.020 0.052 0.100 0.016 0.004
#> [2149] 0.032 0.552 0.028 0.014 0.034 0.004 0.006 0.004 0.152 0.008 0.214 0.036
#> [2161] 0.022 0.002 0.018 0.008 0.024 0.042 0.278 0.028 0.002 0.040 0.234 0.010
#> [2173] 0.740 0.002 0.002 0.004 0.008 0.034 0.006 0.014 0.012 0.142 0.050 0.008
#> [2185] 0.022 0.850 0.386 0.036 0.866 0.036 0.638 0.058 0.016 0.030 0.778 0.056
#> [2197] 0.026 0.006 0.026 0.006 0.052 0.014 0.284 0.014 0.932 0.034 0.622 0.038
#> [2209] 0.008 0.016 0.000 0.940 0.018 0.010 0.040 0.004 0.008 0.040 0.010 0.022
#> [2221] 0.004 0.012 0.022 0.054 0.024 0.092 0.258 0.028 0.048 0.052 0.010 0.028
#> [2233] 0.184 0.012 0.484 0.074 0.012 0.002 0.012 0.008 0.010 0.016 0.008 0.024
#> [2245] 0.136 0.006 0.684 0.032 0.912 0.006 0.016 0.600 0.012 0.016 0.048 0.014
#> [2257] 0.002 0.012 0.206 0.022 0.036 0.794 0.210 0.034 0.008 0.008 0.028 0.030
#> [2269] 0.648 0.210 0.022 0.002 0.032 0.010 0.002 0.028 0.906 0.034 0.030 0.000
#> [2281] 0.008 0.018 0.936 0.878 0.008 0.864 0.020 0.038 0.232 0.790 0.052 0.022
#> [2293] 0.036 0.164 0.014 0.030 0.028 0.100 0.194 0.052 0.014 0.016 0.718 0.080
#> [2305] 0.038 0.000 0.106 0.038 0.002 0.004 0.010 0.014 0.002 0.024 0.006 0.018
#> [2317] 0.016 0.024 0.004 0.018 0.088 0.880 0.002 0.044 0.824 0.072 0.138 0.108
#> [2329] 0.664 0.732 0.746 0.070 0.016 0.064 0.000 0.012 0.796 0.002 0.016 0.282
#> [2341] 0.002 0.066 0.044 0.012 0.004 0.046 0.028 0.026 0.018 0.002 0.342 0.798
#> [2353] 0.524 0.018 0.678 0.004 0.004 0.012 0.734 0.004 0.894 0.020 0.002 0.010
#> [2365] 0.022 0.000 0.000 0.026 0.046 0.004 0.006 0.006 0.012 0.006 0.028 0.842
#> [2377] 0.006 0.040 0.048 0.898 0.010 0.028 0.018 0.004 0.052 0.020 0.018 0.000
#> [2389] 0.002 0.010 0.004 0.002 0.046 0.016 0.000 0.000 0.012 0.002 0.008 0.000
#> [2401] 0.078 0.002 0.002 0.002 0.000 0.790 0.006 0.028 0.044 0.008 0.684 0.006
#> [2413] 0.000 0.002 0.000 0.028 0.006 0.002 0.022 0.000 0.004 0.070 0.002 0.004
#> [2425] 0.002 0.002 0.004 0.652 0.730 0.040 0.044 0.756 0.738 0.050 0.018 0.006
#> [2437] 0.464 0.004 0.598 0.046 0.006 0.020 0.064 0.664 0.766 0.764 0.376 0.060
#> [2449] 0.210 0.016 0.000 0.034 0.050 0.252 0.030 0.076 0.036 0.008 0.160 0.062
#> [2461] 0.038 0.008 0.044 0.006 0.032 0.006 0.026 0.370 0.634 0.048 0.196 0.214
#> [2473] 0.080 0.200 0.152 0.190 0.074 0.162 0.630 0.702 0.140 0.044 0.268 0.052
#> [2485] 0.156 0.066 0.280 0.618 0.028 0.066 0.028 0.200 0.048 0.052 0.036 0.080
#> [2497] 0.096 0.066 0.056 0.086 0.064 0.058 0.626 0.036 0.578 0.138 0.062 0.134
#> [2509] 0.056 0.070 0.066 0.078 0.806 0.146 0.062 0.066 0.082 0.682 0.742 0.060
#> [2521] 0.128 0.160 0.350 0.138 0.088 0.122 0.704 0.044 0.246 0.312 0.026 0.266
#> [2533] 0.044 0.046 0.916 0.238 0.118 0.030 0.118 0.360 0.006 0.906 0.282 0.030
#> [2545] 0.002 0.020 0.610 0.506 0.068 0.428 0.716 0.532 0.138 0.022 0.556 0.654
#> [2557] 0.552 0.028 0.260 0.300 0.052 0.590 0.030 0.646 0.426 0.032 0.942 0.094
#> [2569] 0.232 0.684 0.054 0.110 0.010 0.014 0.038 0.514 0.026 0.178 0.034 0.170
#> [2581] 0.070 0.060 0.044 0.108 0.450 0.110 0.050 0.032 0.340 0.018 0.788 0.034
#> [2593] 0.454 0.016 0.078 0.034 0.116 0.076 0.024 0.260 0.094 0.200 0.004 0.448
#> [2605] 0.080 0.318 0.286 0.052 0.980 0.130 0.158 0.054 0.062 0.254 0.602 0.158
#> [2617] 0.772 0.044 0.110 0.042 0.906 0.130 0.242 0.706 0.046 0.188 0.102 0.564
#> [2629] 0.068 0.086 0.048 0.024 0.326 0.394 0.068 0.382 0.876 0.092 0.416 0.086
#> [2641] 0.430 0.012 0.010 0.012 0.090 0.354 0.306 0.026 0.232 0.280 0.008 0.070
#> [2653] 0.232 0.258 0.980 0.008 0.092 0.244 0.016 0.014 0.032 0.078 0.164 0.006
#> [2665] 0.152 0.006 0.004 0.048 0.712 0.020 0.004 0.928 0.032 0.012 0.366 0.862
#> [2677] 0.090 0.052 0.008 0.016 0.682 0.014 0.374 0.058 0.184 0.068 0.340 0.024
#> [2689] 0.038 0.002 0.002 0.018 0.010 0.838 0.060 0.434 0.046 0.024 0.034 0.084
#> [2701] 0.146 0.108 0.266 0.336 0.888 0.846 0.336 0.020 0.578 0.526 0.640 0.178
#> [2713] 0.980 0.152 0.098 0.090 0.298 0.122 0.080 0.352 0.072 0.112 0.022 0.896
#> [2725] 0.360 0.120 0.102 0.030 0.100 0.018 0.216 0.016 0.010 0.074 0.076 0.244
#> [2737] 0.012 0.042 0.050 0.478 0.052 0.158 0.358 0.944 0.538 0.482 0.014 0.090
#> [2749] 0.930 0.008 0.030 0.110 0.104 0.024 0.218 0.668 0.028 0.042 0.054 0.486
#> [2761] 0.084 0.146 0.072 0.024 0.040 0.032 0.060 0.076 0.008 0.028 0.012 0.836
#> [2773] 0.054 0.430 0.064 0.862 0.082 0.564 0.014 0.052 0.266 0.302 0.096 0.052
#> [2785] 0.484 0.918 0.114 0.118 0.910 0.384 0.956 0.164 0.294 0.038 0.010 0.034
#> [2797] 0.176 0.110 0.250 0.664 0.052 0.138 0.134 0.028 0.006 0.062 0.480 0.018
#> [2809] 0.074 0.018 0.538 0.034 0.006 0.120 0.058 0.060 0.288 0.006 0.002 0.010
#> [2821] 0.008 0.824 0.796 0.206 0.336 0.006 0.158 0.016 0.976 0.078 0.068 0.008
#> [2833] 0.094 0.888 0.028 0.224 0.578 0.062 0.088 0.970 0.328 0.982 0.944 0.020
#> [2845] 0.038 0.010 0.024 0.018 0.158 0.016 0.074 0.002 0.120 0.548 0.044 0.062
#> [2857] 0.100 0.102 0.002 0.442 0.132 0.134 0.216 0.510 0.002 0.008 0.278 0.008
#> [2869] 0.792 0.480 0.018 0.026 0.042 0.028 0.554 0.004 0.010 0.690 0.192 0.028
#> [2881] 0.026 0.026 0.980 0.260 0.068 0.050 0.032 0.318 0.124 0.086 0.002 0.022
#> [2893] 0.130 0.018 0.618 0.028 0.358 0.150 0.016 0.246 0.136 0.204 0.034 0.000
#> [2905] 0.018 0.148 0.014 0.026 0.208 0.096 0.136 0.342 0.030 0.062 0.290 0.034
#> [2917] 0.876 0.018 0.656 0.024 0.510 0.166 0.240 0.734 0.028 0.430 0.062 0.258
#> [2929] 0.068 0.010 0.778 0.090 0.834 0.084 0.938 0.050 0.102 0.026 0.026 0.040
#> [2941] 0.014 0.730 0.078 0.464 0.750 0.006 0.932 0.078 0.010 0.046 0.002 0.042
#> [2953] 0.000 0.848 0.314 0.044 0.084 0.028 0.252 0.648 0.698 0.192 0.010 0.042
#> [2965] 0.376 0.190 0.786 0.150 0.148 0.596 0.024 0.048 0.142 0.718 0.986 0.394
#> [2977] 0.024 0.706 0.740 0.502 0.008 0.226 0.212 0.192 0.014 0.700 0.020 0.012
#> [2989] 0.350 0.354 0.060 0.192 0.184 0.102 0.630 0.034 0.002 0.000 0.000 0.046
#> [3001] 0.086 0.124 0.010 0.204 0.864 0.012 0.332 0.026 0.078 0.142 0.082 0.778
#> [3013] 0.048 0.010 0.908 0.028 0.122 0.042 0.086 0.012 0.684 0.008 0.012 0.250
#> [3025] 0.986 0.452 0.078 0.818 0.018 0.946 0.078 0.332 0.016 0.048 0.350 0.146
#> [3037] 0.032 0.944 0.964 0.658 0.012 0.326 0.192 0.038 0.270 0.068 0.918 0.686
#> [3049] 0.058 0.202 0.016 0.020 0.002 0.582 0.004 0.034 0.020 0.072 0.000 0.640
#> [3061] 0.110 0.192 0.076 0.402 0.074 0.030 0.128 0.164 0.480 0.014 0.370 0.040
#> [3073] 0.574 0.052 0.358 0.156 0.002 0.098 0.868 0.064 0.000 0.002 0.790 0.910
#> [3085] 0.016 0.020 0.154 0.026 0.110 0.140 0.282 0.014 0.932 0.012 0.124 0.040
#> [3097] 0.026 0.146 0.756 0.052 0.102 0.020 0.016 0.050 0.068 0.038 0.774 0.504
#> [3109] 0.000 0.046 0.002 0.698 0.072 0.040 0.038 0.238 0.524 0.126 0.008 0.488
#> [3121] 0.126 0.022 0.000 0.488 0.012 0.014 0.024 0.070 0.102 0.154 0.980 0.026
#> [3133] 0.010 0.114 0.154 0.032 0.116 0.706 0.008 0.926 0.032 0.034 0.016 0.070
#> [3145] 0.000 0.462 0.818 0.036 0.018 0.850 0.004 0.058 0.086 0.006 0.508 0.138
#> [3157] 0.406 0.010 0.488 0.174 0.016 0.682 0.502 0.090 0.212 0.152 0.108 0.402
#> [3169] 0.102 0.058 0.018 0.006 0.534 0.692 0.030 0.012 0.360 0.034 0.078 0.758
#> [3181] 0.908 0.006 0.046 0.242 0.120 0.044 0.274 0.100 0.528 0.054 0.012 0.764
#> [3193] 0.176 0.090 0.120 0.030 0.508 0.038 0.070 0.046 0.242 0.188 0.098 0.006
#> [3205] 0.320 0.064 0.454 0.016 0.244 0.200 0.476 0.258 0.240 0.016 0.490 0.366
#> [3217] 0.174 0.126 0.114 0.398 0.258 0.014 0.516 0.034 0.012 0.028 0.044 0.028
#> [3229] 0.816 0.324 0.018 0.832 0.020 0.074 0.392 0.000 0.010 0.018 0.008 0.576
#> [3241] 0.054 0.080 0.068 0.098 0.002 0.094 0.210 0.038 0.306 0.202 0.000 0.000
#> [3253] 0.008 0.036 0.208 0.072 0.156 0.020 0.044 0.078 0.034 0.098 0.032 0.040
#> [3265] 0.048 0.544 0.038 0.124 0.748 0.340 0.014 0.088 0.122 0.022 0.188 0.044
#> [3277] 0.908 0.032 0.056 0.494 0.510 0.148 0.080 0.002 0.260 0.958 0.006 0.406
#> [3289] 0.596 0.154 0.006 0.030 0.744 0.326 0.310 0.010 0.236 0.072 0.006 0.086
#> [3301] 0.468 0.048 0.106 0.924 0.030 0.338 0.682 0.000 0.272 0.202 0.030 0.284
#> [3313] 0.038 0.000 0.006 0.982 0.654 0.082 0.210 0.054 0.346 0.112 0.250 0.416
#> [3325] 0.592 0.666 0.000 0.040 0.006 0.016 0.022 0.696 0.132 0.088 0.016 0.030
#> [3337] 0.154 0.834 0.016 0.004 0.296 0.832 0.928 0.488 0.902 0.018 0.058 0.002
#> [3349] 0.558 0.940 0.592 0.020 0.412 0.982 0.870 0.944 0.690 0.104 0.814 0.630
#> [3361] 0.186 0.136 0.520 0.046 0.008 0.056 0.004 0.124 0.018 0.644 0.374 0.032
#> [3373] 0.048 0.416 0.030 0.018 0.144 0.010 0.012 0.006 0.082 0.172 0.054 0.036
#> [3385] 0.050 0.814 0.054 0.142 0.886 0.220 0.552 0.024 0.026 0.516 0.894 0.092
#> [3397] 0.030 0.014 0.606 0.772 0.048 0.262 0.532 0.006 0.750 0.308 0.026 0.010
#> [3409] 0.768 0.094 0.014 0.082 0.002 0.044 0.028 0.076 0.504 0.844 0.106 0.000
#> [3421] 0.124 0.018 0.008 0.158 0.000 0.008 0.004 0.272 0.044 0.008 0.004 0.026
#> [3433] 0.622 0.112 0.100 0.110 0.014 0.030 0.000 0.466 0.816 0.124 0.096 0.092
#> [3445] 0.006 0.060 0.008 0.000 0.248 0.002 0.032 0.104 0.072 0.000 0.612 0.006
#> [3457] 0.316 0.006 0.012 0.002 0.004 0.188 0.042 0.068 0.116 0.784 0.400 0.006
#> [3469] 0.010 0.082 0.234 0.394 0.072 0.004 0.052 0.390 0.080 0.058 0.132 0.050
#> [3481] 0.004 0.192 0.020 0.438 0.036 0.000 0.008 0.228 0.064 0.030 0.024 0.372
#> [3493] 0.060 0.048 0.006 0.520 0.022 0.014 0.010 0.080 0.076 0.070 0.082 0.256
#> [3505] 0.076 0.114 0.010 0.038 0.016 0.092 0.754 0.018 0.048 0.056 0.080 0.202
#> [3517] 0.002 0.102 0.828 0.168 0.012 0.002 0.042 0.592 0.014 0.016 0.904 0.002
#> [3529] 0.426 0.000 0.044 0.000 0.892 0.042 0.002 0.002 0.012 0.698 0.184 0.196
#> [3541] 0.062 0.004 0.182 0.098 0.768 0.182 0.126 0.004 0.152 0.252 0.352 0.002
#> [3553] 0.002 0.002 0.542 0.000 0.018 0.162 0.446 0.358 0.012 0.056 0.026 0.924
#> [3565] 0.010 0.006 0.318 0.132 0.038 0.558 0.464 0.080 0.218 0.012 0.004 0.062
#> [3577] 0.016 0.414 0.050 0.004 0.284 0.026 0.038 0.672 0.676 0.208 0.784 0.006
#> [3589] 0.046 0.018 0.002 0.044 0.784 0.186 0.026 0.096 0.078 0.048 0.004 0.008
#> [3601] 0.642 0.000 0.020 0.048 0.560 0.058 0.008 0.004 0.006 0.036 0.526 0.026
#> [3613] 0.076 0.636 0.018 0.022 0.032 0.000 0.256 0.052 0.304 0.010 0.020 0.270
#> [3625] 0.464 0.070 0.298 0.162 0.086 0.026 0.130 0.272 0.142 0.010 0.032 0.736
#> [3637] 0.186 0.046 0.236 0.006 0.390 0.032 0.784 0.000 0.172 0.578 0.400 0.004
#> [3649] 0.174 0.004 0.008 0.032 0.038 0.002 0.068 0.578 0.004 0.000 0.010 0.010
#> [3661] 0.018 0.066 0.140 0.084 0.032 0.008 0.906 0.068 0.002 0.052 0.044 0.068
#> [3673] 0.032 0.510 0.016 0.054 0.192 0.018 0.020 0.610 0.068 0.052 0.098 0.072
#> [3685] 0.056 0.150 0.058 0.026 0.020 0.002 0.022 0.002 0.016 0.478 0.232 0.038
#> [3697] 0.044 0.012 0.088 0.056 0.054 0.142 0.008 0.034 0.758 0.226 0.002 0.034
#> [3709] 0.658 0.490 0.096 0.112 0.248 0.048 0.564 0.244 0.146 0.026 0.000 0.030
#> [3721] 0.036 0.016 0.058 0.376 0.040 0.004 0.252 0.350 0.010 0.054 0.006 0.000
#> [3733] 0.034 0.008 0.028 0.044 0.000 0.058 0.014 0.002 0.000 0.010 0.004 0.844
#> [3745] 0.008 0.004 0.008 0.074 0.654 0.342 0.010 0.034 0.000 0.000 0.000 0.060
#> [3757] 0.004 0.016 0.076 0.002 0.004 0.250 0.020 0.024 0.004 0.000 0.122 0.010
#> [3769] 0.004 0.160 0.638 0.026 0.022 0.014 0.920 0.012 0.022 0.020 0.102 0.738
#> [3781] 0.004 0.024 0.004 0.642 0.030 0.002 0.874 0.012 0.002 0.008 0.048 0.026
#> [3793] 0.028 0.010 0.798 0.130 0.934 0.018 0.934 0.364 0.212 0.274 0.098 0.582
#> [3805] 0.054 0.490 0.120 0.958 0.706 0.172 0.284 0.554 0.696 0.008 0.248 0.748
#> [3817] 0.806 0.384 0.012 0.644 0.102 0.118 0.074 0.168 0.098 0.374 0.214 0.380
#> [3829] 0.172 0.364 0.778 0.946 0.220 0.206 0.218 0.206 0.870 0.204 0.714 0.738
#> [3841] 0.086 0.938 0.776 0.928 0.750 0.062 0.240 0.026 0.030 0.026 0.008 0.550
#> [3853] 0.930 0.384 0.396 0.176 0.614 0.094 0.176 0.012 0.080 0.012 0.402 0.024
#> [3865] 0.944 0.196 0.076 0.382 0.048 0.336 0.036 0.372 0.040 0.338 0.080 0.400
#> [3877] 0.016 0.090 0.094 0.124 0.478 0.044 0.018 0.782 0.062 0.024 0.514 0.262
#> [3889] 0.020 0.056 0.558 0.070 0.116 0.916 0.964 0.082 0.010 0.384 0.368 0.224
#> [3901] 0.018 0.262 0.604 0.444 0.782 0.892 0.028 0.710 0.000 0.284 0.028 0.094
#> [3913] 0.918 0.088 0.380 0.296 0.028 0.252 0.024 0.460 0.020 0.568 0.224 0.010
#> [3925] 0.294 0.234 0.034 0.714 0.044 0.328 0.046 0.716 0.692 0.012 0.044 0.048
#> [3937] 0.014 0.162 0.882 0.568 0.016 0.008 0.122 0.316 0.012 0.052 0.024 0.024
#> [3949] 0.706 0.482 0.154 0.034 0.930 0.136 0.306 0.910 0.322 0.718 0.048 0.100
#> [3961] 0.366 0.352 0.412 0.208 0.242 0.314 0.016 0.008 0.018 0.078 0.054 0.020
#> [3973] 0.074 0.252 0.012 0.138 0.274 0.588 0.040 0.076 0.000 0.044 0.058 0.800
#> [3985] 0.322 0.052 0.002 0.208 0.054 0.054 0.144 0.020 0.334 0.260 0.016 0.134
#> [3997] 0.014 0.050 0.364 0.020 0.062 0.310 0.098 0.192 0.002 0.058 0.670 0.244
#> [4009] 0.084 0.454 0.780 0.716 0.282 0.120 0.056 0.078 0.014 0.288 0.080 0.956
#> [4021] 0.250 0.474 0.276 0.268 0.014 0.648 0.096 0.274 0.088 0.070 0.402 0.140
#> [4033] 0.772 0.124 0.026 0.000 0.356 0.266 0.150 0.006 0.084 0.342 0.146 0.012
#> [4045] 0.078 0.000 0.012 0.144 0.052 0.000 0.084 0.220 0.342 0.026 0.078 0.028
#> [4057] 0.150 0.222 0.014 0.054 0.110 0.002 0.790 0.424 0.116 0.230 0.144 0.158
#> [4069] 0.050 0.896 0.874 0.016 0.204 0.462 0.106 0.020 0.468 0.158 0.088 0.102
#> [4081] 0.110 0.144 0.022 0.244 0.262 0.052 0.170 0.970 0.002 0.302 0.068 0.194
#> [4093] 0.334 0.196 0.264 0.068 0.296 0.362 0.906 0.382 0.344 0.038 0.244 0.042
#> [4105] 0.040 0.140 0.044 0.768 0.012 0.216 0.902 0.034 0.082 0.144 0.008 0.016
#> [4117] 0.308 0.000 0.012 0.096 0.264 0.180 0.090 0.094 0.788 0.188 0.086 0.028
#> [4129] 0.648 0.008 0.348 0.000 0.638 0.502 0.280 0.296 0.072 0.142 0.186 0.942
#> [4141] 0.070 0.982 0.158 0.202 0.032 0.136 0.208 0.026 0.556 0.888 0.030 0.066
#> [4153] 0.114 0.424 0.856 0.574 0.270 0.908 0.968 0.056 0.188 0.176 0.064 0.204
#> [4165] 0.124 0.052 0.926 0.284 0.740 0.886 0.762 0.022 0.402 0.118 0.056 0.360
#> [4177] 0.010 0.876 0.056 0.348 0.864 0.060 0.592 0.058 0.258 0.088 0.380 0.118
#> [4189] 0.028 0.196 0.002 0.074 0.038 0.020 0.192 0.188 0.224 0.088 0.012 0.092
#> [4201] 0.266 0.904 0.730 0.122 0.936 0.038 0.940 0.264 0.110 0.208 0.040 0.170
#> [4213] 0.080 0.114 0.144 0.932 0.010 0.044 0.048 0.014 0.202 0.044 0.334 0.330
#> [4225] 0.218 0.912 0.316 0.408 0.814 0.106 0.930 0.946 0.128 0.084 0.724 0.062
#> [4237] 0.026 0.218 0.018 0.538 0.578 0.334 0.184 0.900 0.194 0.098 0.802 0.076
#> [4249] 0.002 0.650 0.154 0.282 0.006 0.000 0.148 0.390 0.114 0.162 0.282 0.022
#> [4261] 0.012 0.054 0.866 0.750 0.328 0.010 0.012 0.122 0.034 0.662 0.070 0.006
#> [4273] 0.098 0.138 0.026 0.574 0.002 0.220 0.004 0.096 0.024 0.000 0.010 0.136
#> [4285] 0.046 0.162 0.456 0.110 0.066 0.142 0.008 0.096 0.018 0.076 0.082 0.008
#> [4297] 0.828 0.114 0.014 0.368 0.000 0.168 0.248 0.106 0.834 0.032 0.088 0.090
#> [4309] 0.330 0.002 0.148 0.062 0.508 0.044 0.688 0.008 0.096 0.038 0.012 0.120
#> [4321] 0.002 0.078 0.270 0.010 0.072 0.224 0.018 0.028 0.356 0.014 0.234 0.034
#> [4333] 0.004 0.020 0.000 0.054 0.920 0.216 0.040 0.106 0.006 0.170 0.000 0.046
#> [4345] 0.004 0.016 0.008 0.356 0.032 0.168 0.528 0.000 0.920 0.012 0.654 0.314
#> [4357] 0.190 0.246 0.036 0.024 0.002 0.038 0.040 0.430 0.258 0.198 0.100 0.744
#> [4369] 0.282 0.506 0.062 0.138 0.938 0.782 0.596 0.016 0.018 0.044 0.148 0.156
#> [4381] 0.026 0.054 0.000 0.028 0.022 0.674 0.010 0.354 0.086 0.110 0.022 0.052
#> [4393] 0.010 0.026 0.004 0.606 0.010 0.050 0.032 0.744 0.078 0.136 0.932 0.028
#> [4405] 0.022 0.020 0.106 0.014 0.682 0.080 0.206 0.192 0.006 0.004 0.036 0.922
#> [4417] 0.040 0.344 0.076 0.918 0.032 0.006 0.022 0.036 0.096 0.084 0.034 0.858
#> [4429] 0.236 0.128 0.056 0.008 0.156 0.144 0.014 0.008 0.036 0.738 0.236 0.008
#> [4441] 0.176 0.098 0.094 0.934 0.014 0.624 0.050 0.088 0.910 0.116 0.022 0.066
#> [4453] 0.128 0.216 0.030 0.056 0.474 0.426 0.890 0.030 0.010 0.042 0.988 0.030
#> [4465] 0.024 0.110 0.202 0.058 0.078 0.270 0.046 0.110 0.290 0.078 0.336 0.050
#> [4477] 0.018 0.076 0.040 0.142 0.010 0.000 0.060 0.038 0.804 0.034 0.064 0.844
#> [4489] 0.108 0.018 0.000 0.070 0.190 0.056 0.204 0.022 0.024 0.086 0.044 0.050
#> [4501] 0.212 0.306 0.082 0.010 0.038 0.126 0.602 0.064 0.112 0.432 0.028 0.020
#> [4513] 0.224 0.048 0.912 0.138 0.766 0.002 0.466 0.644 0.784 0.212 0.906 0.314
#> [4525] 0.014 0.134 0.008 0.016 0.070 0.438 0.034 0.046 0.896 0.292 0.004 0.370
#> [4537] 0.204 0.512 0.266 0.814 0.294 0.098 0.002 0.020 0.058 0.238 0.004 0.034
#> [4549] 0.024 0.016 0.910 0.026 0.014 0.008 0.028 0.156 0.018 0.738 0.050 0.022
#> [4561] 0.008 0.014 0.106 0.182 0.306 0.102 0.560 0.054 0.002 0.144 0.004 0.006
#> [4573] 0.012 0.768 0.016 0.794 0.092 0.020 0.004 0.044 0.004 0.840 0.020 0.180
#> [4585] 0.422 0.860 0.018 0.466 0.004 0.044 0.054 0.018 0.004 0.038 0.504 0.004
#> [4597] 0.002 0.136 0.008 0.010 0.168 0.170 0.014 0.064 0.058 0.006 0.050 0.920
#> [4609] 0.130 0.082 0.042 0.068 0.010 0.032 0.040 0.030 0.324 0.422 0.008 0.060
#> [4621] 0.048 0.054 0.154 0.586 0.044 0.048 0.072 0.058 0.004 0.002 0.868 0.452
#> [4633] 0.662 0.014 0.218 0.006 0.020 0.426 0.004 0.034 0.030 0.080 0.026 0.570
#> [4645] 0.052 0.006 0.380 0.122 0.352 0.018 0.006 0.026 0.004 0.608 0.006 0.040
#> [4657] 0.748 0.002 0.102 0.012 0.016 0.070 0.012 0.002 0.074 0.150 0.108 0.026
#> [4669] 0.024 0.014 0.018 0.026 0.004 0.136 0.334 0.190 0.890 0.008 0.012 0.830
#> [4681] 0.004 0.082 0.120 0.818 0.132 0.030 0.018 0.030 0.012 0.034 0.018 0.476
#> [4693] 0.086 0.074 0.006 0.232 0.070 0.800 0.168 0.016 0.014 0.002 0.042 0.116
#> [4705] 0.004 0.030 0.026 0.000 0.030 0.000 0.012 0.194 0.006 0.188 0.026 0.004
#> [4717] 0.070 0.002 0.012 0.004 0.006 0.002 0.008 0.002 0.030 0.006 0.804 0.128
#> [4729] 0.002 0.030 0.574 0.004 0.116 0.012 0.002 0.008 0.000 0.002 0.228 0.064
#> [4741] 0.204 0.000 0.000 0.006 0.042 0.000 0.010 0.060 0.028 0.000 0.000 0.004
#> [4753] 0.032 0.006 0.006 0.108 0.000 0.004 0.024 0.062 0.242 0.030 0.132 0.458
#> [4765] 0.022 0.006 0.010 0.002 0.024 0.002 0.004 0.008 0.002 0.018 0.568 0.666
#> [4777] 0.032 0.002 0.008 0.100 0.204 0.006 0.022 0.000 0.006 0.012 0.194 0.030
#> [4789] 0.004 0.006 0.002 0.122 0.104 0.432 0.118 0.544 0.002 0.012 0.034 0.066
#> [4801] 0.898 0.150 0.092 0.068 0.058 0.038 0.084 0.180 0.622 0.008 0.064 0.046
#> [4813] 0.030 0.010 0.010 0.424 0.004 0.002 0.004 0.012 0.004 0.008 0.004 0.004
#> [4825] 0.102 0.010 0.624 0.002 0.006 0.016 0.024 0.052 0.004 0.010 0.768 0.694
#> [4837] 0.894 0.816 0.924 0.728 0.952 0.776 0.806 0.588 0.402 0.382 0.866 0.908
#> [4849] 0.828 0.852 0.784 0.094 0.616 0.034 0.682 0.700 0.764 0.010 0.058 0.208
#> [4861] 0.126 0.046 0.804 0.016 0.120 0.056 0.348 0.292 0.002 0.008 0.098 0.346
#> [4873] 0.020 0.400 0.134 0.262 0.034 0.014 0.006 0.006 0.020 0.008 0.092 0.618
#> [4885] 0.062 0.042 0.140 0.002 0.044 0.202 0.136 0.152 0.000 0.166 0.000 0.026
#> [4897] 0.854 0.850 0.006 0.712 0.048 0.834 0.114 0.006 0.376 0.224 0.294 0.008
#> [4909] 0.052 0.092 0.052 0.010 0.508 0.066 0.078 0.074 0.680 0.090 0.220 0.054
#> [4921] 0.008 0.032 0.122 0.014 0.020 0.024 0.244 0.722 0.362 0.002 0.650 0.094
#> [4933] 0.208 0.532 0.128 0.590 0.070 0.134 0.404 0.056 0.536 0.624 0.980 0.014
#> [4945] 0.080 0.044 0.058 0.002 0.064 0.028 0.058 0.962 0.012 0.068 0.932 0.228
#> [4957] 0.202 0.052 0.190 0.000 0.064 0.110 0.036 0.284 0.058 0.246 0.018 0.024
#> [4969] 0.014 0.086 0.108 0.052 0.212 0.112 0.710 0.548 0.228 0.202 0.728 0.284
#> [4981] 0.094 0.580 0.070 0.404 0.450 0.030 0.516 0.328 0.484 0.038 0.590 0.030
#> [4993] 0.006 0.112 0.230 0.002 0.012 0.380 0.218 0.250 0.026 0.368 0.656 0.860
#> [5005] 0.868 0.024 0.096 0.044 0.076 0.020 0.002 0.508 0.010 0.016 0.070 0.766
#> [5017] 0.036 0.298 0.084 0.144 0.146 0.076 0.002 0.020 0.012 0.240 0.154 0.374
#> [5029] 0.012 0.006 0.302 0.186 0.002 0.422 0.000 0.118 0.050 0.018 0.024 0.046
#> [5041] 0.062 0.048 0.164 0.010 0.040 0.378 0.262 0.044 0.074 0.104 0.860 0.026
#> [5053] 0.286 0.084 0.154 0.222 0.062 0.010 0.154 0.070 0.056 0.312 0.080 0.624
#> [5065] 0.664 0.874 0.134 0.574 0.004 0.064 0.340 0.052 0.956 0.052 0.084 0.868
#> [5077] 0.078 0.386 0.098 0.100 0.078 0.028 0.952 0.042 0.012 0.772 0.014 0.376
#> [5089] 0.076 0.202 0.014 0.000 0.104 0.236 0.082 0.850 0.038 0.802 0.294 0.160
#> [5101] 0.024 0.442 0.064 0.108 0.052 0.066 0.070 0.258 0.268 0.016 0.284 0.008
#> [5113] 0.374 0.802 0.712 0.150 0.152 0.338 0.476 0.038 0.050 0.758 0.162 0.564
#> [5125] 0.126 0.934 0.156 0.002 0.104 0.180 0.816 0.160 0.152 0.190 0.146 0.690
#> [5137] 0.142 0.498 0.170 0.740 0.092 0.560 0.000 0.036 0.002 0.108 0.150 0.128
#> [5149] 0.156 0.044 0.932 0.082 0.040 0.906 0.034 0.398 0.056 0.006 0.264 0.236
#> [5161] 0.098 0.704 0.420 0.068 0.006 0.656 0.382 0.172 0.054 0.052 0.056 0.184
#> [5173] 0.082 0.704 0.036 0.426 0.092 0.372 0.366 0.362 0.052 0.014 0.254 0.804
#> [5185] 0.000 0.062 0.400 0.972 0.128 0.358 0.050 0.124 0.772 0.088 0.192 0.760
#> [5197] 0.232 0.614 0.178 0.116 0.198 0.110 0.490 0.278 0.300 0.028 0.860 0.968
#> [5209] 0.358 0.392 0.538 0.134 0.280 0.708 0.002 0.638 0.022 0.168 0.064 0.066
#> [5221] 0.182 0.290 0.738 0.002 0.012 0.002 0.144 0.114 0.200 0.176 0.438 0.102
#> [5233] 0.310 0.074 0.174 0.136 0.458 0.060 0.214 0.176 0.654 0.004 0.020 0.060
#> [5245] 0.052 0.014 0.932 0.004 0.008 0.978 0.100 0.056 0.170 0.204 0.188 0.008
#> [5257] 0.080 0.046 0.672 0.124 0.012 0.228 0.098 0.000 0.152 0.036 0.000 0.902
#> [5269] 0.000 0.202 0.082 0.152 0.030 0.106 0.324 0.026 0.016 0.002 0.068 0.064
#> [5281] 0.010 0.340 0.008 0.930 0.034 0.210 0.204 0.164 0.092 0.286 0.148 0.884
#> [5293] 0.234 0.204 0.538 0.012 0.686 0.146 0.434 0.090 0.250 0.232 0.504 0.204
#> [5305] 0.022 0.056 0.934 0.010 0.122 0.066 0.112 0.012 0.516 0.030 0.200 0.480
#> [5317] 0.024 0.786 0.082 0.240 0.158 0.012 0.234 0.732 0.054 0.102 0.026 0.682
#> [5329] 0.234 0.038 0.118 0.246 0.040 0.114 0.378 0.088 0.838 0.322 0.302 0.290
#> [5341] 0.302 0.742 0.954 0.260 0.114 0.904 0.120 0.088 0.638 0.416 0.136 0.908
#> [5353] 0.002 0.128 0.436 0.198 0.342 0.098 0.090 0.106 0.398 0.172 0.060 0.858
#> [5365] 0.122 0.690 0.332 0.554 0.324 0.036 0.242 0.730 0.078 0.970 0.640 0.114
#> [5377] 0.104 0.096 0.010 0.140 0.026 0.094 0.072 0.914 0.420 0.866 0.806 0.772
#> [5389] 0.824 0.746 0.018 0.522 0.876 0.024 0.340 0.616 0.148 0.830 0.014 0.028
#> [5401] 0.608 0.176 0.916 0.016 0.082 0.716 0.518 0.010 0.476 0.138 0.006 0.006
#> [5413] 0.098 0.002 0.026 0.034 0.022 0.044 0.366 0.438 0.256 0.020 0.016 0.688
#> [5425] 0.974 0.206 0.004 0.038 0.142 0.978 0.274 0.126 0.014 0.014 0.000 0.038
#> [5437] 0.006 0.214 0.308 0.332 0.482 0.704 0.160 0.886 0.276 0.000 0.012 0.194
#> [5449] 0.000 0.002 0.158 0.330 0.104 0.828 0.028 0.108 0.002 0.074 0.072 0.198
#> [5461] 0.034 0.150 0.184 0.046 0.014 0.538 0.862 0.036 0.080 0.018 0.052 0.086
#> [5473] 0.620 0.854 0.114 0.068 0.166 0.272 0.288 0.060 0.820 0.056 0.088 0.832
#> [5485] 0.458 0.816 0.008 0.950 0.702 0.074 0.276 0.122 0.002 0.002 0.754 0.058
#> [5497] 0.086 0.398 0.026 0.324 0.078 0.020 0.016 0.000 0.876 0.222 0.130 0.004
#> [5509] 0.848 0.010 0.036 0.296 0.208 0.002 0.274 0.254 0.104 0.066 0.064 0.050
#> [5521] 0.000 0.030 0.016 0.394 0.002 0.184 0.002 0.888 0.070 0.040 0.008 0.002
#> [5533] 0.004 0.006 0.004 0.078 0.002 0.056 0.022 0.168 0.736 0.716 0.070 0.526
#> [5545] 0.006 0.242 0.060 0.640 0.286 0.506 0.632 0.824 0.918 0.018 0.744 0.092
#> [5557] 0.178 0.094 0.482 0.620 0.632 0.898 0.230 0.390 0.004 0.252 0.122 0.676
#> [5569] 0.520 0.744 0.298 0.002 0.004 0.010 0.008 0.608 0.028 0.118 0.738 0.218
#> [5581] 0.580 0.434 0.122 0.484 0.050 0.540 0.816 0.480 0.508 0.018 0.028 0.842
#> [5593] 0.630 0.702 0.160 0.150 0.378 0.266 0.426 0.930 0.408 0.074 0.010 0.002
#> [5605] 0.366 0.888 0.230 0.930 0.232 0.042 0.500 0.170 0.762 0.918 0.128 0.044
#> [5617] 0.566 0.406 0.022 0.348 0.332 0.118 0.006 0.454 0.314 0.010 0.010 0.350
#> [5629] 0.296 0.064 0.542 0.434 0.070 0.110 0.062 0.390 0.940 0.260 0.180 0.014
#> [5641] 0.776 0.006 0.014 0.250 0.036 0.526 0.436 0.466 0.286 0.036 0.548 0.350
#> [5653] 0.042 0.132 0.236 0.448 0.176 0.866 0.376 0.750 0.002 0.006 0.342 0.082
#> [5665] 0.008 0.068 0.002 0.636 0.484 0.804 0.810 0.250 0.094 0.160 0.430 0.484
#> [5677] 0.248 0.022 0.474 0.318 0.362 0.642 0.400 0.424 0.212 0.402 0.880 0.270
#> [5689] 0.270 0.302 0.434 0.462 0.068 0.332 0.506 0.012 0.568 0.476 0.132 0.072
#> [5701] 0.018 0.060 0.230 0.508 0.262 0.880 0.580 0.518 0.400 0.222 0.066 0.216
#> [5713] 0.484 0.294 0.522 0.106 0.070 0.262 0.760 0.176 0.608 0.176 0.148 0.776
#> [5725] 0.650 0.066 0.370 0.024 0.062 0.334 0.496 0.368 0.508 0.344 0.582 0.140
#> [5737] 0.574 0.568 0.280 0.130 0.492 0.438 0.652 0.348 0.026 0.394 0.178 0.230
#> [5749] 0.030 0.782 0.048 0.022 0.474 0.826 0.094 0.656 0.212 0.388 0.424 0.028
#> [5761] 0.636 0.094 0.636 0.204 0.008 0.050 0.180 0.322 0.952 0.116 0.746 0.098
#> [5773] 0.458 0.830 0.186 0.174 0.514 0.612 0.034 0.138 0.248 0.106 0.284 0.230
#> [5785] 0.310 0.126 0.864 0.650 0.454 0.230 0.180 0.686 0.036 0.188 0.146 0.266
#> [5797] 0.646 0.080 0.584 0.986 0.296 0.190 0.008 0.288 0.516 0.658 0.242 0.396
#> [5809] 0.662 0.216 0.434 0.054 0.580 0.370 0.518 0.074 0.958 0.274 0.386 0.214
#> [5821] 0.592 0.090 0.220 0.330 0.088 0.260 0.186 0.100 0.076 0.156 0.192 0.052
#> [5833] 0.188 0.040 0.430 0.872 0.438 0.804 0.186 0.152 0.554 0.860 0.264 0.284
#> [5845] 0.196 0.146 0.808 0.074 0.210 0.084 0.318 0.520 0.090 0.262 0.304 0.180
#> [5857] 0.304 0.464 0.608 0.062 0.186 0.732 0.024 0.154 0.156 0.084 0.584 0.194
#> [5869] 0.002 0.076 0.152 0.550 0.208 0.062 0.602 0.710 0.570 0.834 0.276 0.474
#> [5881] 0.594 0.530 0.148 0.532 0.664 0.626 0.034 0.002 0.718 0.030 0.474 0.414
#> [5893] 0.066 0.006 0.400 0.802 0.276 0.786 0.398 0.260 0.134 0.968 0.228 0.514
#> [5905] 0.506 0.558 0.188 0.576 0.818 0.120 0.172 0.288 0.132 0.128 0.470 0.398
#> [5917] 0.028 0.292 0.232 0.396 0.266 0.528 0.058 0.432 0.110 0.366 0.082 0.122
#> [5929] 0.062 0.686 0.138 0.140 0.044 0.134 0.368 0.604 0.082 0.074 0.680 0.114
#> [5941] 0.212 0.026 0.294 0.568 0.108 0.016 0.116 0.048 0.904 0.172 0.350 0.424
#> [5953] 0.140 0.126 0.334 0.246 0.210 0.048 0.002 0.152 0.912 0.288 0.562 0.076
#> [5965] 0.258 0.284 0.140 0.042 0.036 0.126 0.574 0.096 0.616 0.292 0.280 0.104
#> [5977] 0.650 0.110 0.988 0.080 0.750 0.100 0.498 0.356 0.592 0.642 0.670 0.116
#> [5989] 0.200 0.338 0.522 0.164 0.318 0.424 0.728 0.406 0.442 0.318 0.592 0.936
#> [6001] 0.006 0.238 0.038 0.074 0.526 0.222 0.622 0.238 0.148 0.140 0.512 0.144
#> [6013] 0.070 0.962 0.700 0.642 0.196 0.014 0.028 0.086 0.142 0.298 0.690 0.658
#> [6025] 0.692 0.086 0.340 0.598 0.720 0.168 0.478 0.804 0.368 0.734 0.676 0.280
#> [6037] 0.700 0.516 0.698 0.968 0.188 0.590 0.012 0.042 0.574 0.304 0.508 0.190
#> [6049] 0.724 0.168 0.616 0.458 0.452 0.404 0.020 0.068 0.750 0.756 0.044 0.130
#> [6061] 0.102 0.808 0.668 0.736 0.630 0.114 0.360 0.906 0.114 0.740 0.848 0.244
#> [6073] 0.390 0.402 0.148 0.020 0.112 0.046 0.056 0.122 0.016 0.166 0.250 0.058
#> [6085] 0.200 0.074 0.642 0.582 0.858 0.030 0.726 0.886 0.576 0.412 0.444 0.732
#> [6097] 0.206 0.162 0.840 0.800 0.352 0.286 0.218 0.848 0.148 0.938 0.558 0.268
#> [6109] 0.440 0.054 0.124 0.098 0.038 0.836 0.030 0.246 0.330 0.010 0.300 0.362
#> [6121] 0.038 0.770 0.014 0.896 0.154 0.924 0.390 0.678 0.044 0.736 0.146 0.358
#> [6133] 0.300 0.124 0.194 0.474 0.184 0.586 0.602 0.040 0.860 0.158 0.676 0.296
#> [6145] 0.786 0.014 0.040 0.138 0.440 0.180 0.672 0.516 0.858 0.176 0.806 0.164
#> [6157] 0.154 0.674 0.104 0.930 0.914 0.518 0.392 0.200 0.556 0.136 0.606 0.840
#> [6169] 0.576 0.092 0.234 0.628 0.582 0.744 0.142 0.026 0.042 0.216 0.788 0.140
#> [6181] 0.256 0.250 0.268 0.158 0.074 0.304 0.130 0.064 0.266 0.946 0.102 0.778
#> [6193] 0.280 0.218 0.194 0.136 0.284 0.496 0.024 0.242 0.082 0.400 0.924 0.634
#> [6205] 0.212 0.060 0.038 0.338 0.068 0.008 0.606 0.310 0.630 0.212 0.334 0.408
#> [6217] 0.650 0.912 0.652 0.254 0.690 0.434 0.800 0.712 0.194 0.682 0.708 0.926
#> [6229] 0.502 0.880 0.554 0.644 0.854 0.864 0.680 0.496 0.544 0.826 0.810 0.790
#> [6241] 0.932 0.436 0.532 0.726 0.672 0.784 0.660 0.592 0.508 0.890 0.666 0.924
#> [6253] 0.938 0.836 0.730 0.640 0.418 0.640 0.962 0.354 0.864 0.778 0.938 0.864
#> [6265] 0.496 0.908 0.770 0.914 0.754 0.922 0.980 0.766 0.800 0.836 0.816 0.772
#> [6277] 0.392 0.978 0.756 0.950 0.794 0.434 0.966 0.896 0.896 0.938 0.788 0.920
#> [6289] 0.928 0.720 0.894 0.928 0.764 0.614 0.668 0.854 0.694 0.762 0.696 0.950
#> [6301] 0.458 0.850 0.810 0.844 0.396 0.870 0.908 0.938 0.318 0.830 0.790 0.420
#> [6313] 0.596 0.698 0.180 0.828 0.384 0.262 0.860 0.902 0.794 0.388 0.582 0.766
#> [6325] 0.386 0.334 0.276 0.782 0.120 0.362 0.888 0.606 0.344 0.156 0.272 0.262
#> [6337] 0.450 0.252 0.634 0.670 0.498 0.286 0.682 0.104 0.488 0.822 0.294 0.096
#> [6349] 0.882 0.140 0.342 0.934 0.060 0.668 0.258 0.094 0.428 0.484 0.392 0.582
#> [6361] 0.506 0.250 0.790 0.048 0.002 0.124 0.238 0.922 0.166 0.462 0.354 0.846
#> [6373] 0.832 0.688 0.656 0.314 0.784 0.136 0.080 0.940 0.280 0.380 0.350 0.122
#> [6385] 0.326 0.958 0.246 0.646 0.928 0.284 0.382 0.304 0.700 0.198 0.310 0.652
#> [6397] 0.828 0.946 0.678 0.558 0.064 0.164 0.986 0.296 0.362 0.898 0.542 0.420
#> [6409] 0.322 0.344 0.054 0.104 0.154 0.652 0.032 0.278 0.624 0.460 0.080 0.130
#> [6421] 0.204 0.946 0.440 0.678 0.230 0.410 0.184 0.066 0.964 0.836 0.320 0.414
#> [6433] 0.866 0.252 0.916 0.798 0.276 0.584 0.912 0.108 0.270 0.914 0.164 0.130
#> [6445] 0.890 0.690 0.732 0.204 0.210 0.342 0.190 0.510 0.840 0.186 0.234 0.920
#> [6457] 0.174 0.886 0.118 0.978 0.058 0.300 0.174 0.230 0.372 0.522 0.092 0.360
#> [6469] 0.128 0.174 0.210 0.014 0.808 0.570 0.120 0.890 0.056 0.502 0.072 0.010
#> [6481] 0.010 0.790 0.016 0.414 0.518 0.168 0.938 0.196 0.276 0.122 0.152 0.110
#> [6493] 0.010 0.090 0.508 0.048 0.274 0.806 0.388 0.054 0.906 0.608 0.322 0.646
#> [6505] 0.174 0.150 0.278 0.178 0.938 0.196 0.752 0.426 0.120 0.844 0.004 0.314
#> [6517] 0.094 0.194 0.004 0.278 0.032 0.274 0.294 0.558 0.062 0.064 0.088 0.668
#> [6529] 0.008 0.124 0.556 0.898 0.770 0.582 0.646 0.204 0.368 0.328 0.594 0.940
#> [6541] 0.112 0.804 0.956 0.682 0.712 0.690 0.418 0.012 0.360 0.654 0.140 0.870
#> [6553] 0.346 0.570 0.082 0.418 0.442 0.090 0.656 0.290 0.606 0.010 0.232 0.120
#> [6565] 0.104 0.022 0.220 0.212 0.712 0.002 0.010 0.176 0.114 0.020 0.320 0.422
#> [6577] 0.224 0.008 0.430 0.078 0.958 0.212 0.812 0.196 0.080 0.076 0.136 0.008
#> [6589] 0.636 0.522 0.000 0.970 0.162 0.146 0.014 0.268 0.022 0.312 0.058 0.014
#> [6601] 0.412 0.810 0.292 0.936 0.538 0.038 0.620 0.884 0.204 0.124 0.044 0.684
#> [6613] 0.034 0.634 0.180 0.878 0.220 0.024 0.908 0.010 0.000 0.066 0.954 0.820
#> [6625] 0.054 0.744 0.158 0.026 0.128 0.518 0.914 0.956 0.036 0.002 0.226 0.074
#> [6637] 0.950 0.124 0.192 0.522 0.070 0.442 0.516 0.072 0.152 0.980 0.060 0.128
#> [6649] 0.002 0.424 0.094 0.296 0.186 0.158 0.106 0.276 0.098 0.788 0.042 0.032
#> [6661] 0.792 0.080 0.138 0.002 0.016 0.870 0.070 0.050 0.074 0.068 0.832 0.066
#> [6673] 0.004 0.008 0.598 0.278 0.170 0.644 0.036 0.052 0.002 0.928 0.018 0.338
#> [6685] 0.004 0.148 0.074 0.118 0.030 0.350 0.012 0.196 0.074 0.014 0.058 0.276
#> [6697] 0.002 0.202 0.878 0.674 0.902 0.020 0.000 0.022 0.030 0.918 0.458 0.106
#> [6709] 0.084 0.042 0.010 0.096 0.056 0.140 0.572 0.002 0.008 0.022 0.666 0.034
#> [6721] 0.032 0.030 0.150 0.022 0.160 0.022 0.350 0.542 0.832 0.004 0.004 0.912
#> [6733] 0.412 0.250 0.058 0.610 0.020 0.020 0.002 0.904 0.012 0.034 0.966 0.108
#> [6745] 0.010 0.020 0.030 0.740 0.922 0.026 0.936 0.912 0.844 0.352 0.290 0.860
#> [6757] 0.956 0.964 0.834 0.832 0.880 0.704 0.716 0.620 0.754 0.194 0.138 0.074
#> [6769] 0.256 0.084 0.830 0.126 0.066 0.942 0.480 0.068 0.168 0.336 0.858 0.070
#> [6781] 0.948 0.056 0.760 0.478 0.864 0.978 0.936 0.406 0.978 0.930 0.910 0.832
#> [6793] 0.638 0.504 0.076 0.396 0.956 0.852 0.794 0.984 0.168 0.842 0.346 0.926
#> [6805] 0.022 0.586 0.996 0.754 0.572 0.628 0.100 0.676 0.692 0.220 0.242 0.976
#> [6817] 0.886 0.062 0.004 0.972 0.912 0.482 0.268 0.666 0.874 0.866 0.844 0.902
#> [6829] 0.644 0.924 0.910 0.730 0.756 0.820 0.112 0.894 0.726 0.874 0.874 0.924
#> [6841] 0.966 0.862 0.728 0.418 0.516 0.486 0.168 0.798 0.788 0.968 0.936 0.860
#> [6853] 0.084 0.054 0.260 0.676 0.170 0.190 0.092 0.048 0.036 0.296 0.260 0.104
#> [6865] 0.722 0.162 0.182 0.912 0.040 0.376 0.044 0.732 0.144 0.100 0.850 0.462
#> [6877] 0.360 0.882 0.856 0.130 0.764 0.008 0.478 0.308 0.176 0.062 0.764 0.810
#> [6889] 0.072 0.006 0.658 0.028 0.430 0.376 0.088 0.762 0.044 0.170 0.000 0.092
#> [6901] 0.070 0.896 0.356 0.000 0.058 0.076 0.288 0.854 0.018 0.044 0.018 0.054
#> [6913] 0.810 0.040 0.366 0.046 0.058 0.238 0.012 0.104 0.000 0.002 0.022 0.196
#> [6925] 0.082 0.006 0.000 0.244 0.106 0.592 0.326 0.492 0.030 0.040 0.258 0.852
#> [6937] 0.034 0.490 0.106 0.290 0.112 0.072 0.454 0.490 0.062 0.050 0.914 0.226
#> [6949] 0.890 0.102 0.032 0.030 0.162 0.428 0.128 0.094 0.014 0.006 0.124 0.018
#> [6961] 0.018 0.086 0.436 0.014 0.052 0.460 0.476 0.878 0.014 0.554 0.308 0.028
#> [6973] 0.564 0.130 0.868 0.116 0.050 0.084 0.220 0.350 0.004 0.008 0.874 0.026
#> [6985] 0.062 0.012 0.010 0.004 0.028 0.012 0.216 0.062 0.580 0.096 0.602 0.004
#> [6997] 0.132 0.002 0.008 0.004 0.926 0.034 0.028 0.814 0.408 0.698 0.364 0.826
#> [7009] 0.136 0.066 0.076 0.004 0.324 0.046 0.278 0.028 0.104 0.834 0.114 0.050
#> [7021] 0.012 0.052 0.196 0.640 0.002 0.268 0.050 0.012 0.002 0.102 0.042 0.228
#> [7033] 0.064 0.846 0.472 0.170 0.102 0.580 0.026 0.026 0.052 0.006 0.286 0.040
#> [7045] 0.036 0.112 0.542 0.044 0.004 0.018 0.002 0.034 0.000 0.124 0.032 0.042
#> [7057] 0.978 0.224 0.044 0.620 0.674 0.034 0.028 0.120 0.040 0.762 0.006 0.028
#> [7069] 0.194 0.058 0.166 0.108 0.082 0.340 0.050 0.022 0.102 0.010 0.796 0.916
#> [7081] 0.074 0.120 0.278 0.012 0.168 0.026 0.428 0.198 0.170 0.010 0.512 0.420
#> [7093] 0.050 0.000 0.742 0.200 0.006 0.064 0.028 0.642 0.150 0.020 0.950 0.056
#> [7105] 0.046 0.008 0.690 0.068 0.300 0.002 0.118 0.146 0.016 0.614 0.078 0.022
#> [7117] 0.350 0.006 0.206 0.638 0.908 0.058 0.156 0.050 0.914 0.506 0.686 0.078
#> [7129] 0.070 0.810 0.098 0.900 0.066 0.024 0.094 0.066 0.108 0.012 0.002 0.100
#> [7141] 0.002 0.036 0.054 0.050 0.036 0.004 0.084 0.006 0.076 0.022 0.068 0.246
#> [7153] 0.702 0.508 0.054 0.084 0.844 0.060 0.260 0.058 0.524 0.082 0.050 0.006
#> [7165] 0.028 0.012 0.014 0.082 0.118 0.012 0.660 0.400 0.002 0.010 0.046 0.044
#> [7177] 0.006 0.078 0.222 0.430 0.016 0.840 0.124 0.062 0.148 0.518 0.198 0.222
#> [7189] 0.268 0.046 0.104 0.148 0.326 0.032 0.004 0.000 0.186 0.328 0.060 0.046
#> [7201] 0.034 0.558 0.104 0.232 0.640 0.946 0.770 0.048 0.986 0.184 0.408 0.290
#> [7213] 0.002 0.174 0.044 0.022 0.572 0.010 0.050 0.000 0.002 0.000 0.008 0.006
#> [7225] 0.230 0.762 0.004 0.068 0.290 0.664 0.086 0.204 0.078 0.250 0.922 0.312
#> [7237] 0.016 0.056 0.946 0.216 0.726 0.938 0.546 0.082 0.082 0.024 0.624 0.062
#> [7249] 0.022 0.000 0.008 0.004 0.018 0.000 0.018 0.084 0.058 0.060 0.180 0.050
#> [7261] 0.048 0.168 0.180 0.000 0.886 0.146 0.034 0.080 0.020 0.030 0.060 0.216
#> [7273] 0.072 0.116 0.178 0.020 0.456 0.072 0.046 0.006 0.032 0.638 0.064 0.136
#> [7285] 0.004 0.610 0.094 0.002 0.024 0.010 0.014 0.040 0.374 0.036 0.966 0.146
#> [7297] 0.088 0.000 0.008 0.000 0.170 0.162 0.544 0.120 0.000 0.002 0.522 0.022
#> [7309] 0.334 0.002 0.898 0.006 0.016 0.012 0.022 0.006 0.024 0.674 0.832 0.080
#> [7321] 0.016 0.004 0.448 0.040 0.010 0.264 0.352 0.014 0.044 0.880 0.000 0.042
#> [7333] 0.006 0.058 0.000 0.004 0.404 0.820 0.000 0.014 0.068 0.106 0.072 0.016
#> [7345] 0.628 0.020 0.018 0.234 0.420 0.630 0.098 0.792 0.052 0.010 0.516 0.120
#> [7357] 0.338 0.050 0.976 0.042 0.794 0.010 0.046 0.986 0.878 0.962 0.416 0.014
#> [7369] 0.056 0.936 0.060 0.048 0.106 0.924 0.064 0.222 0.324 0.002 0.280 0.016
#> [7381] 0.054 0.030 0.014 0.020 0.032 0.304 0.792 0.682 0.094 0.680 0.022 0.044
#> [7393] 0.000 0.798 0.372 0.010 0.046 0.688 0.010 0.102 0.064 0.028 0.334 0.284
#> [7405] 0.026 0.080 0.002 0.062 0.334 0.070 0.072 0.014 0.006 0.656 0.032 0.946
#> [7417] 0.014 0.000 0.052 0.862 0.020 0.006 0.858 0.694 0.734 0.012 0.208 0.044
#> [7429] 0.000 0.048 0.274 0.112 0.020 0.004 0.040 0.802 0.010 0.022 0.048 0.510
#> [7441] 0.158 0.066 0.912 0.006 0.534 0.098 0.878 0.016 0.032 0.586 0.030 0.334
#> [7453] 0.372 0.594 0.106 0.082 0.052 0.384 0.054 0.948 0.008 0.308 0.014 0.528
#> [7465] 0.934 0.038 0.230 0.076 0.010 0.216 0.004 0.034 0.040 0.064 0.242 0.184
#> [7477] 0.022 0.856 0.534 0.058 0.014 0.000 0.046 0.200 0.304 0.010 0.830 0.270
#> [7489] 0.028 0.078 0.022 0.004 0.290 0.048 0.554 0.008 0.070 0.000 0.230 0.104
#> [7501] 0.620 0.040 0.060 0.002 0.844 0.350 0.942 0.386 0.098 0.002 0.062 0.044
#> [7513] 0.004 0.000 0.048 0.238 0.682 0.018 0.468 0.008 0.000 0.864 0.162 0.432
#> [7525] 0.050 0.512 0.764 0.014 0.058 0.568 0.492 0.006 0.036 0.026 0.960 0.930
#> [7537] 0.078 0.102 0.052 0.842 0.000 0.056 0.010 0.016 0.018 0.828 0.148 0.606
#> [7549] 0.060 0.040 0.934 0.052 0.076 0.154 0.046 0.020 0.058 0.006 0.296 0.820
#> [7561] 0.000 0.036 0.026 0.024 0.158 0.510 0.034 0.100 0.084 0.026 0.016 0.798
#> [7573] 0.044 0.022 0.200 0.528 0.808 0.010 0.012 0.068 0.976 0.556 0.374 0.796
#> [7585] 0.222 0.022 0.106 0.090 0.024 0.020 0.334 0.090 0.622 0.020 0.160 0.008
#> [7597] 0.074 0.238 0.718 0.720 0.200 0.264 0.242 0.002 0.002 0.014 0.122 0.026
#> [7609] 0.274 0.038 0.050 0.456 0.286 0.004 0.018 0.042 0.064 0.070 0.078 0.502
#> [7621] 0.018 0.008 0.012 0.034 0.010 0.014 0.008 0.268 0.006 0.058 0.386 0.886
#> [7633] 0.002 0.246 0.324 0.014 0.190 0.054 0.148 0.000 0.018 0.914 0.280 0.008
#> [7645] 0.064 0.036 0.070 0.012 0.018 0.000 0.030 0.070 0.040 0.600 0.156 0.010
#> [7657] 0.026 0.000 0.070 0.024 0.082 0.000 0.030 0.372 0.032 0.576 0.202 0.002
#> [7669] 0.008 0.016 0.324 0.090 0.458 0.126 0.170 0.004 0.108 0.004 0.004 0.000
#> [7681] 0.254 0.038 0.002 0.014 0.048 0.166 0.006 0.080 0.238 0.156 0.430 0.230
#> [7693] 0.556 0.976 0.946 0.276 0.002 0.040 0.078 0.166 0.046 0.860 0.738 0.806
#> [7705] 0.066 0.012 0.884 0.068 0.052 0.980 0.024 0.696 0.056 0.182 0.094 0.056
#> [7717] 0.944 0.052 0.144 0.046 0.056 0.074 0.014 0.040 0.028 0.366 0.888 0.818
#> [7729] 0.080 0.290 0.092 0.000 0.134 0.332 0.262 0.074 0.000 0.964 0.002 0.064
#> [7741] 0.706 0.060 0.016 0.120 0.048 0.006 0.004 0.648 0.034 0.878 0.014 0.098
#> [7753] 0.246 0.006 0.724 0.620 0.936 0.002 0.066 0.760 0.000 0.720 0.022 0.580
#> [7765] 0.000 0.026 0.588 0.034 0.102 0.096 0.036 0.016 0.064 0.042 0.294 0.046
#> [7777] 0.910 0.006 0.626 0.132 0.056 0.952 0.182 0.664 0.362 0.466 0.052 0.180
#> [7789] 0.020 0.892 0.074 0.068 0.042 0.100 0.620 0.004 0.218 0.676 0.158 0.070
#> [7801] 0.932 0.028 0.228 0.152 0.728 0.022 0.000 0.840 0.002 0.404 0.176 0.066
#> [7813] 0.504 0.124 0.528 0.226 0.026 0.026 0.034 0.782 0.604 0.640 0.916 0.008
#> [7825] 0.024 0.030 0.874 0.450 0.948 0.042 0.568 0.298 0.044 0.106 0.892 0.260
#> [7837] 0.228 0.200 0.316 0.766 0.662 0.584 0.022 0.776 0.094 0.590 0.118 0.246
#> [7849] 0.366 0.712 0.704 0.504 0.088 0.836 0.062 0.054 0.020 0.016 0.240 0.000
#> [7861] 0.054 0.838 0.434 0.030 0.086 0.806 0.014 0.832 0.650 0.234 0.036 0.064
#> [7873] 0.376 0.008 0.022 0.160 0.554 0.056 0.082 0.034 0.038 0.194 0.000 0.000
#> [7885] 0.020 0.036 0.042 0.040 0.096 0.008 0.054 0.006 0.212 0.002 0.056 0.944
#> [7897] 0.254 0.970 0.858 0.680 0.480 0.074 0.404 0.724 0.072 0.904 0.660 0.812
#> [7909] 0.958 0.208 0.390 0.954 0.698 0.942 0.898 0.682 0.408 0.464 0.112 0.780
#> [7921] 0.094 0.874 0.268 0.074 0.820 0.648 0.196 0.410 0.706 0.174 0.926 0.202
#> [7933] 0.232 0.704 0.906 0.256 0.290 0.982 0.352 0.814 0.162 0.878 0.030 0.668
#> [7945] 0.268 0.576 0.190 0.896 0.312 0.294 0.436 0.554 0.312 0.074 0.218 0.622
#> [7957] 0.936 0.394 0.092 0.218 0.770 0.572 0.058 0.806 0.608 0.782 0.150 0.224
#> [7969] 0.738 0.370 0.068 0.464 0.022 0.128 0.940 0.862 0.470 0.698 0.982 0.822
#> [7981] 0.858 0.980 0.574 0.606 0.940 0.834 0.622 0.094 0.890 0.882 0.484 0.490
#> [7993] 0.860 0.828 0.912 0.402 0.482 0.766 0.878 0.882 0.824 0.922 0.564 0.122
#> [8005] 0.888 0.568 0.854 0.638 0.924 0.344 0.964 0.836 0.116 0.872 0.280 0.762
#> [8017] 0.216 0.794 0.624 0.514 0.766 0.898 0.728 0.956 0.194 0.678 0.812 0.484
#> [8029] 0.884 0.938 0.960 0.944 0.896 0.980 0.204 0.662 0.544 0.780 0.314 0.862
#> [8041] 0.302 0.092 0.728 0.820 0.550 0.934 0.086 0.850 0.902 0.842 0.872 0.952
#> [8053] 0.298 0.334 0.954 0.578 0.642 0.930 0.658 0.806 0.376 0.848 0.872 0.898
#> [8065] 0.214 0.238 0.188 0.848 0.434 0.116 0.366 0.742 0.678 0.920 0.680 0.982
#> [8077] 0.222 0.952 0.370 0.150 0.800 0.734 0.228 0.628 0.896 0.818 0.574 0.880
#> [8089] 0.968 0.854 0.108 0.844 0.066 0.746 0.858 0.910 0.378 0.856 0.756 0.246
#> [8101] 0.262 0.446 0.292 0.264 0.362 0.680 0.842 0.882 0.702 0.282 0.324 0.182
#> [8113] 0.472 0.970 0.958 0.146 0.862 0.020 0.834 0.466 0.372 0.524 0.498 0.256
#> [8125] 0.918 0.496 0.010 0.322 0.324 0.396 0.100 0.130 0.274 0.638 0.282 0.670
#> [8137] 0.500 0.006 0.302 0.690 0.036 0.246 0.344 0.850 0.640 0.874 0.418 0.186
#> [8149] 0.624 0.222 0.348 0.346 0.342 0.840 0.218 0.806 0.356 0.984 0.872 0.806
#> [8161] 0.970 0.602 0.468 0.974 0.926 0.986 0.822 0.468 0.792 0.490 0.978 0.046
#> [8173] 0.678 0.008 0.902 0.534 0.906 0.624 0.970 0.464 0.686 0.892 0.824 0.814
#> [8185] 0.602 0.120 0.952 0.714 0.966 0.928 0.452 0.866 0.692 0.070 0.872 0.134
#> [8197] 0.910 0.636 0.898 0.556 0.246 0.800 0.248 0.332 0.738 0.420 0.044 0.038
#> [8209] 0.318 0.706 0.682 0.804 0.258 0.266 0.860 0.230 0.702 0.268 0.196 0.840
#> [8221] 0.808 0.130 0.092 0.652 0.940 0.406 0.896 0.922 0.038 0.080 0.616 0.728
#> [8233] 0.752 0.884 0.826 0.508 0.174 0.376 0.734 0.818 0.616 0.372 0.760 0.126
#> [8245] 0.448 0.502 0.154 0.534 0.256 0.574 0.318 0.738 0.788 0.934 0.652 0.638
#> [8257] 0.190 0.656 0.152 0.878 0.066 0.028 0.510 0.668 0.922 0.512 0.498 0.240
#> [8269] 0.880 0.846 0.126 0.526 0.984 0.040 0.322 0.638 0.606 0.914 0.946 0.906
#> [8281] 0.652 0.546 0.654 0.046 0.636 0.332 0.962 0.782 0.668 0.796 0.962 0.246
#> [8293] 0.858 0.790 0.292 0.748 0.818 0.966 0.816 0.856 0.920 0.644 0.992 0.870
#> [8305] 0.898 0.908 0.736 0.606 0.768 0.376 0.844 0.880 0.736 0.852 0.686 0.636
#> [8317] 0.684 0.990 0.830 0.654 0.818 0.872 0.530 0.768 0.968 0.832 0.844 0.624
#> [8329] 0.366 0.220 0.538 0.472 0.654 0.820 0.938 0.662 0.608 0.926 0.962 0.706
#> [8341] 0.364 0.766 0.868 0.684 0.946 0.496 0.496 0.946 0.556 0.522 0.998 0.452
#> [8353] 0.758 0.946 0.788 0.700 0.700 0.758 0.420 0.916 0.906 0.660 0.942 0.306
#> [8365] 0.762 0.830 0.790 0.926 0.986 0.934 0.890 0.872 0.978 0.936 0.838 0.924
#> [8377] 0.886 0.884 0.352 0.770 0.828 0.782 0.416 0.646 0.968 0.702 0.990 0.982
#> [8389] 0.860 0.752 0.946 0.970 0.862 0.454 0.968 0.280 0.848 0.840 0.860 0.612
#> [8401] 0.378 0.788 0.686 0.850 0.810 0.816 0.840 0.510 0.928 0.418 0.786 0.758
#> [8413] 0.946 0.762 0.844 0.808 0.764 0.910 0.950 0.416 0.544 0.130 0.072 0.344
#> [8425] 0.142 0.316 0.730 0.888 0.372 0.054 0.224 0.654 0.884 0.984 0.496 0.316
#> [8437] 0.952 0.944 0.516 0.544 0.606 0.890 0.624 0.912 0.896 0.928 0.490 0.952
#> [8449] 0.368 0.900 0.548 0.796 0.948 0.956 0.860 0.792 0.962 0.930 0.870 0.830
#> [8461] 0.936 0.714 0.108 0.796 0.144 0.586 0.546 0.752 0.386 0.496 0.784 0.122
#> [8473] 0.598 0.774 0.880 0.866 0.638 0.112 0.112 0.724 0.256 0.296 0.154 0.722
#> [8485] 0.856 0.542 0.244 0.832 0.726 0.620 0.994 0.918 0.834 0.184 0.040 0.920
#> [8497] 0.862 0.962 0.860 0.370 0.920 0.796 0.894 0.932 0.354 0.950 0.746 0.904
#> [8509] 0.876 0.982 0.892 0.934 0.832 0.532 0.806 0.438 0.866 0.930 0.854 0.782
#> [8521] 0.902 0.758 0.954 0.862 0.386 0.820 0.334 0.144 0.254 0.968 0.956 0.292
#> [8533] 0.656 0.596 0.844 0.468 0.804 0.966 0.488 0.754 0.424 0.346 0.960 0.674
#> [8545] 0.772 0.784 0.782 0.164 0.374 0.604 0.936 0.892 0.960 0.766 0.442 0.434
#> [8557] 0.256 0.326 0.352 0.972 0.880 0.874 0.744 0.488 0.444 0.462 0.426 0.660
#> [8569] 0.846 0.594 0.838 0.234 0.852 0.884 0.834 0.410 0.294 0.304 0.418 0.660
#> [8581] 0.908 0.562 0.996 0.638 0.300 0.452 0.452 0.920 0.666 0.602 0.280 0.978
#> [8593] 0.552 0.834 0.554 0.284 0.698 0.968 0.970 0.854 0.794 0.372 0.964 0.962
#> [8605] 0.968 0.774 0.460 0.808 0.452 0.950 0.900 0.984 0.598 0.912 0.980 0.966
#> [8617] 0.922 0.814 0.876 0.818 0.558 0.980 0.964 0.960 0.460 0.538 0.960 0.654
#> [8629] 0.728 0.542 0.850 0.744 0.480 0.608 0.678 0.488 0.552 0.354 0.908 0.822
#> [8641] 0.890 0.960 0.858 0.984 0.464 0.946 0.968 0.200 0.942 0.814 0.910 0.790
#> [8653] 0.816 0.944 0.696 0.930 0.836 0.768 0.936 0.486 0.886 0.904 0.738 0.846
#> [8665] 0.840 0.944 0.906 0.630 0.608 0.766 0.948 0.960 0.512 0.798 0.752 0.826
#> [8677] 0.950 0.770 0.786 0.866 0.850 0.462 0.748 0.964 0.794 0.958 0.744 0.898
#> [8689] 0.868 0.476 0.808 0.822 0.840 0.796 0.928 0.752 0.700 0.224 0.936 0.914
#> [8701] 0.882 0.352 0.882 0.964 0.980 0.496 0.986 0.342 0.876 0.650 0.886 0.972
#> [8713] 0.646 0.940 0.306 0.848 0.990 0.964 0.604 0.462 0.978 0.122 0.632 0.876
#> [8725] 0.044 0.948 0.994 0.828 0.798 0.716 0.834 0.794 0.986 0.862 0.874 0.884
#> [8737] 0.612 0.770 0.192 0.042 0.284 0.976 0.028 0.530 0.958 0.852 0.970 0.976
#> [8749] 0.978 0.016 0.918 0.220 0.932 0.798 0.982 0.930 0.972 0.054 0.958 0.008
#> [8761] 0.964 0.354 0.918 0.212 0.840 0.698 0.810 0.980 0.860 0.866 0.148 0.826
#> [8773] 0.030 0.006 0.010 0.926 0.004 0.896 0.898 0.850 0.668 0.970 0.876 0.956
#> [8785] 0.920 0.930 0.754 0.698 0.960 0.482 0.044 0.908 0.806 0.888 0.880 0.836
#> [8797] 0.984 0.912 0.892 0.818 0.008 0.306 0.722 0.080 0.992 0.912 0.948 0.892
#> [8809] 0.986 0.874 0.830 0.126 0.694 0.614 0.852 0.746 0.570 0.802 0.618 0.550
#> [8821] 0.294 0.556 0.974 0.684 0.106 0.556 0.152 0.746 0.972 0.128 0.964 0.982
#> [8833] 0.884 0.834 0.848 0.100 0.918 0.762 0.738 0.786 0.918 0.652 0.984 0.996
#> [8845] 0.766 0.614 0.782 0.826 0.966 0.980 0.974 0.964 0.930 0.228 0.024 0.782
#> [8857] 0.874 0.018 0.354 0.588 0.994 0.702 0.430 0.922 0.772 0.088 0.136 0.208
#> [8869] 0.224 0.986 0.798 0.102 0.906 0.734 0.748 0.502 0.164 0.716 0.384 0.704
#> [8881] 0.974 0.882 0.264 0.814 0.836 0.916 0.540 0.840 0.830 0.806 0.754 0.992
#> [8893] 0.810 0.790 0.692 0.950 0.176 0.050 0.870 0.902 0.558 0.902 0.962 0.776
#> [8905] 0.766 0.872 0.954 0.840 0.504 0.974 0.956 0.960 0.770 0.876 0.998 0.536
#> [8917] 0.114 0.956 0.206 0.300 0.102 0.286 0.406 0.888 0.646 0.896 0.722 0.744
#> [8929] 0.858 0.916 0.864 0.792 0.888 0.810 0.636 0.988 0.886 0.926 0.866 0.618
#> [8941] 0.396 0.874 0.608 0.922 0.656 0.176 0.880 0.980 0.610 0.934 0.848 0.086
#> [8953] 0.998 0.992 0.314 0.234 0.918 0.250 0.980 0.996 0.594 0.832 0.944 0.862
#> [8965] 0.856 0.306 0.244 0.278 0.702 0.978 0.658 0.930 0.876 0.590 0.628 0.984
#> [8977] 0.458 0.516 0.674 0.770 0.098 0.634 0.700 0.758 0.550 0.878 0.830 0.348
#> [8989] 0.386 0.166 0.740 0.832 0.788 0.436 0.654 0.888 0.972 0.798 0.758 0.492
#> [9001] 0.896 0.966 0.966 0.918 0.782 0.868 0.948 0.978 0.994 0.984 0.290 0.920
#> [9013] 0.626 0.842 0.896 0.532 0.898 0.956 0.838 0.918 0.850 0.632 0.834 0.882
#> [9025] 0.892 0.934 0.936 0.956 0.842 0.964 0.780 0.864 0.602 0.918 0.954 0.252
#> [9037] 0.542 0.754 0.846 0.744 0.268 0.820 0.908Sekarang, gunakan fungsi prediction() dari package
ROCR untuk membandingkan probability ke kelas positif yang
tersimpan dalam prob_test[,"yes"] dengan data aktual
data_test$default, kemudian simpan ke dalam object
pred_roc.
Selanjutnya, gunakan fungsi performance() dari package
ROCR dengan mendefinisikan axis plot untuk menghasilkan plot ROC. Simpan
hasilnya ke dalam object perf. Untuk menggunakan fungsi
performance(), atur parameter di bawah ini:
Setelah kita membuat object perf, kita buat plot ROC
dengan memasukkan object perf ke dalam fungsi
plot().
Untuk melakukan evaluasi kurva ROC tersebut, kita lihat apakah ada
hasil yang tidak diinginkan dari model. Selanjutnya, kita mencari nilai
AUC menggunakan fungsi performance() dengan mengatur
parameter prediction.obj = pred_roc dan
measure = "auc" lalu simpan ke dalam object
auc.
#> [1] 0.9246476Nilai AUC 92.46% berarti performa model baik dalam mengklasifikasikan kelas positif maupun kelas negatif
6 Conclusion
Jika saya adalah seorang manager marketing di bank tersebut, dimana saya akan bertujuan untuk berusaha mendapatkan peluang sebesar-besarnya agar nasabah yang dihubungi oleh telemarketer saya menerima tawaran produk (deposito) yang kami tawarkan, maka saya akan memilih evaluasi Recall / Sensitivity. Hal ini juga terlihat dari ketiga model tersebut, nilai Recall jauh lebih tinggi dibandingkan dengan Precision. Hal ini menunjukkan, data pada case ini memang cenderung mempertimbangkan evaluasi Recall.
Dari ketiga model di atas, Decision Tree dan Random Forest memiliki nilai evaluasi model yang tidak jauh berbeda. Namun dari segi cost / komputasi pembuatan model, Random Forest sangat lama. Jadi saya lebih memilih model Decision Tree sebagai model terbaik dalam pemecahan case ini.