Regresi Linear Berganda

Prediksi Harga Rumah

*Kontak	: \(\downarrow\)*
Email	naufal3433@gmail.com
Instagram	https://www.instagram.com/m_naufalardiansyah/
RPubs	https://rpubs.com/muhamad_naufal/

Latar Belakang

Tujuan utama analisis ini adalah untuk memprediksi harga pada penjualan rumah di King Country, Washington, AS. Pada analisis ini menggunakan metode Regresi Linear Berganda. Dataset yang digunakan berupa data historis penjualan rumah yang terjual antara bulan Mei 2014 hingga Mei 2015. Analisis ini menggunakan data lama karena hanya untuk dijadikan pembelajaran. Untuk penerapan lebih lanjut bisa menggunakan data terbaru.

Persiapan Data

Hal pertama yang pasti dilakukan adalah mempersiapkan data yang akan dianalisis. Hal ini penting dilakukan karena tanpa adanya data proses analisis tidak dapat dilakukan. Namun sebelum memasukkan data ke dalam R ada beberapa hal yang perlu diperhatikan diantaranya :

Install Packages

Sebelum memanggil data yang akan dianalisis, hal yang harus dilakukan adalah meng install packages yang diperlukan. packages ini digunakan untuk memudahkan kita dalam bekerja. Berikut adalah beberapa packages yang akan di install dalam analisis ini:

source ("g_regression.R")
library (tidyverse)

## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr     1.1.1     ✔ readr     2.1.4
## ✔ forcats   1.0.0     ✔ stringr   1.5.0
## ✔ ggplot2   3.4.1     ✔ tibble    3.2.1
## ✔ lubridate 1.9.2     ✔ tidyr     1.3.0
## ✔ purrr     1.0.1     
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag()    masks stats::lag()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errors

library (dplyr)
library (GGally)

## Registered S3 method overwritten by 'GGally':
##   method from   
##   +.gg   ggplot2

library (lubridate)
library (paletti)
library (gridExtra)

## 
## Attaching package: 'gridExtra'
## 
## The following object is masked from 'package:dplyr':
## 
##     combine

library (grid)
library (MLmetrics)

## 
## Attaching package: 'MLmetrics'
## 
## The following object is masked from 'package:base':
## 
##     Recall

library (car)

## Loading required package: carData
## 
## Attaching package: 'car'
## 
## The following object is masked from 'package:dplyr':
## 
##     recode
## 
## The following object is masked from 'package:purrr':
## 
##     some

library (lmtest)

## Loading required package: zoo
## 
## Attaching package: 'zoo'
## 
## The following objects are masked from 'package:base':
## 
##     as.Date, as.Date.numeric

library (scales)

## 
## Attaching package: 'scales'
## 
## The following object is masked from 'package:purrr':
## 
##     discard
## 
## The following object is masked from 'package:readr':
## 
##     col_factor

library (nortest)

mycolor = c(
dark_blue = "#003f5c",
light_blue = "#2f4b7c",
light_purple = "#665191",
dark_pink = "#a05195",
light_pink = "#d45087",
light_red = "#f95d6a",
dark_orange = "#ff6437",
light_orange = "#ff7c43",
semi_orange = "#e79658",
orange = "#dda15a",
cream = "#b59378",
dark_cream = "#A57F5F",
choc = "#85664B",
dark_choc = "#6b5340"
)

mycolorfill = c(
  light_blue = "#2f4b7c",
  light_purple = "#665191",
  dark_pink = "#a05195",
  light_pink = "#d45087",
  light_red = "#f95d6a",
  dark_orange = "#ff6347",
  semi_orange = "#e79658",
  orange = "#dda15a",
  cream = "#b59378",
  dark_cream = "#A57F5F",
  choc = "#85664B",
  dark_choc = "#6b5340",
  light_orange = "#ff7c43"
)

mycolor_fill <- get_scale_fill(get_pal(mycolorfill))
mycolor_color <- get_scale_color(get_pal(mycolor))
mycolor_hex <- get_hex(mycolor)

Import Data

Data yang digunakan dalam projek adalah KC_Housesales_Data, silahkan untuk download dan membaca sekilas mengenai latar belakang data tersebut sebelum memulai melakukan analisa.

house <- read.csv("kc_house_data.csv")
dim(house)

## [1] 21597    21

names(house)

##  [1] "id"            "date"          "price"         "bedrooms"     
##  [5] "bathrooms"     "sqft_living"   "sqft_lot"      "floors"       
##  [9] "waterfront"    "view"          "condition"     "grade"        
## [13] "sqft_above"    "sqft_basement" "yr_built"      "yr_renovated" 
## [17] "zipcode"       "lat"           "long"          "sqft_living15"
## [21] "sqft_lot15"

Berdasarkan data diatas, dataset yang digunakan memiliki 21597 observasi dan 21 variabel. Selain itu, Struktur data yang kita miliki sudah sesuai dengan kebutuhan.

Melihat Struktur Dataframe

#str(house)
rmarkdown::paged_table(house)

Eliminasi Variabel

Dari struktur data diatas terdapat data id dan date. Variabel id tidak memberi informasi yang cukup penting untuk melakukan analisa regresi linear. Sehingga dapat variable ini diremove. Perlu dicatat bahwa dalam projek ini kita tidak mempertimbangkan tahun penjualan karena data diambil dari Mei 2014 hingga Mei 2015 sehingga perubahan wakti yang terjadi tidak signifikan mempengaruhi harga jual perumahan tersebut.

house <- house %>%
  select(-id,-date)

names(house)

##  [1] "price"         "bedrooms"      "bathrooms"     "sqft_living"  
##  [5] "sqft_lot"      "floors"        "waterfront"    "view"         
##  [9] "condition"     "grade"         "sqft_above"    "sqft_basement"
## [13] "yr_built"      "yr_renovated"  "zipcode"       "lat"          
## [17] "long"          "sqft_living15" "sqft_lot15"

Deskripsi Variabel

Berikut ini dilampirkan beberapa penjelasan singkat mengenai variabel yang digunakan dalam projek ini. Pada data yang hanya bernilai 1 dan 0 menandakan 1 = “Iya” dan 0 = “Tidak”

Area	Area rumah
Garage	Jumlah Garasi
FirePlace	Jumlah Perapin
Baths	Jumlah Kamar Mandi
White.Marble	Apakah menggunkan keramik “White Marble”
Black.Marble	Apakah menggunakan keramik “Black Marble”
Floors	Apakah lantai sudah diflooring
City	Lokasi Kota dari rumah
Solar	Apakah terdapat tenaga surya
Electric	Apakah terdapat listrik
Fiber	Apakah menggunakan Fiber
Glass.Doors	Apakah menggunakan pintu kaca
Swiming.Pool	Apakah terdapat kolam renang
Garden	Apakah terdapat taman
Prices	Harga rumah. variabel yang akan diprediksi dalam analisis ini.

Periksa Data Hilang

Dalam setiap proses pengolahan data, sering sekali kita melakukan pemeriksaan data yang hilang (missing values) sebelum melakukan proses analisa. Secara sederhana anda dapat melakukan pemerikasaan dengan R, sebagai berikut:

colSums(is.na(house))

##         price      bedrooms     bathrooms   sqft_living      sqft_lot 
##             0             0             0             0             0 
##        floors    waterfront          view     condition         grade 
##             0             0             0             0             0 
##    sqft_above sqft_basement      yr_built  yr_renovated       zipcode 
##             0             0             0             0             0 
##           lat          long sqft_living15    sqft_lot15 
##             0             0             0             0

Pada data yang akan dianalisis tidak terdapat missing value. Maka dari itu analisis dapat dilanjutkan ke tahap berikutnya.

Ringkasan Data

summary(house)

##      price            bedrooms        bathrooms      sqft_living   
##  Min.   :  78000   Min.   : 1.000   Min.   :0.500   Min.   :  370  
##  1st Qu.: 322000   1st Qu.: 3.000   1st Qu.:1.750   1st Qu.: 1430  
##  Median : 450000   Median : 3.000   Median :2.250   Median : 1910  
##  Mean   : 540297   Mean   : 3.373   Mean   :2.116   Mean   : 2080  
##  3rd Qu.: 645000   3rd Qu.: 4.000   3rd Qu.:2.500   3rd Qu.: 2550  
##  Max.   :7700000   Max.   :33.000   Max.   :8.000   Max.   :13540  
##     sqft_lot           floors        waterfront            view       
##  Min.   :    520   Min.   :1.000   Min.   :0.000000   Min.   :0.0000  
##  1st Qu.:   5040   1st Qu.:1.000   1st Qu.:0.000000   1st Qu.:0.0000  
##  Median :   7618   Median :1.500   Median :0.000000   Median :0.0000  
##  Mean   :  15099   Mean   :1.494   Mean   :0.007547   Mean   :0.2343  
##  3rd Qu.:  10685   3rd Qu.:2.000   3rd Qu.:0.000000   3rd Qu.:0.0000  
##  Max.   :1651359   Max.   :3.500   Max.   :1.000000   Max.   :4.0000  
##    condition        grade          sqft_above   sqft_basement       yr_built   
##  Min.   :1.00   Min.   : 3.000   Min.   : 370   Min.   :   0.0   Min.   :1900  
##  1st Qu.:3.00   1st Qu.: 7.000   1st Qu.:1190   1st Qu.:   0.0   1st Qu.:1951  
##  Median :3.00   Median : 7.000   Median :1560   Median :   0.0   Median :1975  
##  Mean   :3.41   Mean   : 7.658   Mean   :1789   Mean   : 291.7   Mean   :1971  
##  3rd Qu.:4.00   3rd Qu.: 8.000   3rd Qu.:2210   3rd Qu.: 560.0   3rd Qu.:1997  
##  Max.   :5.00   Max.   :13.000   Max.   :9410   Max.   :4820.0   Max.   :2015  
##   yr_renovated        zipcode           lat             long       
##  Min.   :   0.00   Min.   :98001   Min.   :47.16   Min.   :-122.5  
##  1st Qu.:   0.00   1st Qu.:98033   1st Qu.:47.47   1st Qu.:-122.3  
##  Median :   0.00   Median :98065   Median :47.57   Median :-122.2  
##  Mean   :  84.46   Mean   :98078   Mean   :47.56   Mean   :-122.2  
##  3rd Qu.:   0.00   3rd Qu.:98118   3rd Qu.:47.68   3rd Qu.:-122.1  
##  Max.   :2015.00   Max.   :98199   Max.   :47.78   Max.   :-121.3  
##  sqft_living15    sqft_lot15    
##  Min.   : 399   Min.   :   651  
##  1st Qu.:1490   1st Qu.:  5100  
##  Median :1840   Median :  7620  
##  Mean   :1987   Mean   : 12758  
##  3rd Qu.:2360   3rd Qu.: 10083  
##  Max.   :6210   Max.   :871200

Exploratory Data Analysis (EDA)

Karena fokus pada projek ini adalah melakukan prediksi dengan Regresi Linear berganda, perlu dilakukan analisa korelasi untuk setiap variabel yang ada.

Matriks Korelasi

ggcorr(house,label = T, size=3, label_size = 3, hjust=0.95)+
  labs(
    title="Matriks Korelasi"
  )+
  theme_minimal()+
  theme(
    plot.title = element_text(hjust = 0.5),
    axis.title = element_text(size=8, face="bold"),
    axis.text.y=element_blank()
  )

Berdasarkan matriks korelasi dari data input diatas, setiap variabel mempunyai pengaruh terhadap Price kecuali condition dan longitude. Kemudian variabel yang memiliki korelasi paling tinggi dengan Price adalah sqft_living dan grade.

Pencilan Harga Rumah

ggplot(data = house, aes(x = price)) +
  geom_histogram(aes(y = ..density..), color = "black", fill = "white") +
  geom_density(alpha = 0.2, fill = "blue") +
  labs(title = "Distribusi Harga Tanpa Outlier") +
  theme_minimal() +
  theme(
    plot.title = element_text(hjust = 0.5),
    axis.title = element_text(size = 9, face = "bold"),
    axis.text.y = element_text(margin = margin(l = 5)),
    axis.text.x.bottom = element_text(margin = margin(b = 5))
  )

## Warning: The dot-dot notation (`..density..`) was deprecated in ggplot2 3.4.0.
## ℹ Please use `after_stat(density)` instead.
## This warning is displayed once every 8 hours.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.

## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

Jika dilihat terdapat cukup banyak data yang memiliki harga yang jauh lebih tinggi dari data lainnya sehingga menyebabkan distribusi penyebaran harga rumah tidak normal. Sehinga saya memutuskan untuk membuang data dengan harga yang lebih dari USD 200 juta karena jika dilihat dari chart distribusi diatas untuk data yang memiliki harga diatas USD 200 juta sangat sedikit. berikut hasilnya:

library(scales)  # Untuk menggunakan fungsi dollar()

house_clean <- house %>%
  filter(price < 2000000)

ggplot(house_clean, aes(x = price)) +
  geom_histogram(aes(y = ..density..), colour = "black", fill = "white", binwidth = 50000) +
  geom_density(alpha = 0.2, fill = "blue") +
  scale_x_continuous(name = "Harga", labels = dollar) +
  labs(title = "Distribusi Harga Rp 200 Jutaan") +
  theme_minimal() +
  theme(
    plot.title = element_text(hjust = 0.5),
    axis.title = element_text(size = 9, face = "bold"),
    axis.text.y = element_text(margin = margin(l = 5)),
    axis.text.x.bottom = element_text(margin = margin(b = 5))
  )

Pemisahan Data

Untuk membangun model regresi lineat ini saya membagi data train:test dengan proporsi 80:20. Proporsi ini yang sudah sering digunakan dalam proses pemodelan machine learning.

set.seed(999)
size_train <- round(nrow(house_clean) * 0.8)  # Menentukan ukuran sampel training
idx_house <- sample(x = nrow(house_clean), size = size_train)  # Memilih indeks untuk sampel training

house_train <- house_clean[idx_house, ]  # Membuat dataset training
house_test <- house_clean[-idx_house, ]  # Membuat dataset test

Pemodelan Regresi Liniear

Modelling menggunakan metode regresi Linear ini dilakukan untuk memprediksi harga dari suatu rumah (Prices).

Prediktor Tunggal

Berdasarkan matriks korelasi sebelumnya, variabel \(sqft_living\) dan \(grade\) memiliki korelasi paling kuat dengan variabel Price. Mari kita coba:

Linear Regression with single predictor: sqft_living

lm_house_single_living <- lm(price ~ sqft_living, data = house_train)
summary(lm_house_single_living)

## 
## Call:
## lm(formula = price ~ sqft_living, data = house_train)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -939480 -137804  -22111  100180 1329080 
## 
## Coefficients:
##              Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 56013.494   4148.643    13.5   <2e-16 ***
## sqft_living   225.062      1.863   120.8   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 209500 on 17109 degrees of freedom
## Multiple R-squared:  0.4603, Adjusted R-squared:  0.4603 
## F-statistic: 1.459e+04 on 1 and 17109 DF,  p-value: < 2.2e-16

Jika dilihat berdasarkan P-Value variabel sqft_living sangat berpengaruh terhadap harga. Namun, jika sebagai single predictor, model ini hanya memiliki nilai Adjusted R-squared: 0.4603 yang berarti hanya berhasil menangkap variansi dari target sebesar 46%.

Linear Regression with single predictor: grade

lm_house_single_grade <- lm(price~grade,house_train)
summary(lm_house_single_grade)

## 
## Call:
## lm(formula = price ~ grade, data = house_train)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -545919 -136608  -29516   94967 1408350 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept)  -795425      10892  -73.03   <2e-16 ***
## grade         172134       1412  121.93   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 208600 on 17109 degrees of freedom
## Multiple R-squared:  0.4649, Adjusted R-squared:  0.4649 
## F-statistic: 1.487e+04 on 1 and 17109 DF,  p-value: < 2.2e-16

Jika dilihat berdasarkan P-Value variabel grade sangat berpengaruh terhadap harga. Namun, jika sebagai single predictor, model ini hanya memiliki nilai Adjusted R-squared: 0.4649 yang berarti hanya berhasil menangkap variansi dari target sebesar 46%.

\(Kesimpulan\): Model Linear Regression menggunakan single predictor tidak cocok diterapkan untuk menentukan harga rumah pada dataset ini.

Prediktor Ganda

# Multiple Linear Regression
lm_house_all <- lm(price~., data=house_train)
summary(lm_house_all)

## 
## Call:
## lm(formula = price ~ ., data = house_train)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -809735  -86570  -10785   67656 1013703 
## 
## Coefficients: (1 not defined because of singularities)
##                 Estimate Std. Error t value Pr(>|t|)    
## (Intercept)   -1.207e+06  2.495e+06  -0.484   0.6286    
## bedrooms      -1.654e+04  1.637e+03 -10.106  < 2e-16 ***
## bathrooms      2.872e+04  2.819e+03  10.187  < 2e-16 ***
## sqft_living    9.940e+01  3.873e+00  25.661  < 2e-16 ***
## sqft_lot       2.171e-01  4.459e-02   4.869 1.13e-06 ***
## floors         2.977e+04  3.092e+03   9.626  < 2e-16 ***
## waterfront     2.687e+05  1.718e+04  15.636  < 2e-16 ***
## view           4.639e+04  1.860e+03  24.935  < 2e-16 ***
## condition      2.847e+04  2.017e+03  14.114  < 2e-16 ***
## grade          9.226e+04  1.871e+03  49.310  < 2e-16 ***
## sqft_above     7.808e+00  3.790e+00   2.060   0.0394 *  
## sqft_basement         NA         NA      NA       NA    
## yr_built      -2.165e+03  6.253e+01 -34.616  < 2e-16 ***
## yr_renovated   2.051e+01  3.174e+00   6.462 1.06e-10 ***
## zipcode       -4.090e+02  2.821e+01 -14.501  < 2e-16 ***
## lat            5.848e+05  9.176e+03  63.735  < 2e-16 ***
## long          -1.401e+05  1.122e+04 -12.489  < 2e-16 ***
## sqft_living15  4.483e+01  3.024e+00  14.822  < 2e-16 ***
## sqft_lot15    -2.772e-01  6.490e-02  -4.270 1.96e-05 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 152900 on 17093 degrees of freedom
## Multiple R-squared:  0.7126, Adjusted R-squared:  0.7124 
## F-statistic:  2494 on 17 and 17093 DF,  p-value: < 2.2e-16

Hasil summary dari model lm_house_all memberikan banyak informasi. nilai Estimate menginterpretasikan nilai setiap koefisien, misalnya apabila rumah memiliki waterfront maka akan berkontribusi pada kenaikan harga rumah sebesar USD 276282.06. Tapi kalau dilihat yang aneh pada variabel bedrooms, jika jumlah kamar bertambah 1 maka harga rumah berkuran sebesar USD -15545.64, apakah didaerah sana orang gak suka kamar banyak?

Mari melihat nilai dari Pr(>|t|), nilai ini menunjukan seberapa besar suatu variabel berpengaruh untuk memprediksi Prices. jika nilainya Pr(>|t|) dibawah 0.05 maka dapat diasumsikan bahwa variabel memiliki pengaruh signifikan dan sebaliknya. Berdasarkan summary model diatas, variabel sqft_above dan sqft_basement memilki nilai P Value > 0.05 bahkan NA Value, sehingga variabel ini dapat di exclude dari prediktor. Namun saya masih kurang mengerti untuk mendektsi singularitas pada variabel sqft_basement, next saya update terkait ini.

Selain itu, jika dilihat nilai Adjusted R-squared:0.7134 , hal ini menandakan bahwa model lm_house_all dapat memprediksi 71.3%. Angka yang belum cukup bagus, tapi coba kita selesaikan.

Evaluasi Model

Berdasarkan hasil stepwise backward, formula untuk Multiple Linear Regression yang disarankan:

Formula: lm(price ~ bedrooms + bathrooms + sqft_living + sqft_lot + floors + waterfront + view + condition + grade + sqft_above + yr_built + yr_renovated + zipcode + lat + long + sqft_living15 + sqft_lot15, data=house_train)

lm_house_model <- lm(price ~ bedrooms + bathrooms + sqft_living + sqft_lot + floors + waterfront + view + condition + grade + sqft_above + yr_built + yr_renovated + zipcode + lat + long + sqft_living15 + sqft_lot15, data=house_train)

Akurasi Vs Error

Cara evaluasi model di kasus regresi dapat menggunakan beberapa matriks penilaian, antara lain:

Akurasi: Model yang dibuat menggunakan multiple predictor sehingga nilai yang baik diinterpretasikan adalah nilai Adjusted R-squared. Dari hasi diatas, model ini memiliki nilai Adjusted R-squared : 0.7134 , hal ini menandakan bahwa model lm_house_all dapat memprediksi 71.3%. Angka yang belum cukup bagus, akan dicoba lagi menggunakan metode lain dikesempatan berikutnya.
Error: Dalam hal ini anda dapat melakukan pemeriksaan error dengan beberapa parameter berikut:
- Mean Absolute Error (MAE): Paling mudah untuk di interpretasikan karena dibandingkan dengan satuan data aktual.
- Mean Absolute Percentage Error (MAPE): Punya interval berapa persentasi kesalahan model yang telah dibangun (0 sd 100%). Namun MAPE terdapat batasan, apabila pada data aktual memiliki nilai 0, MAPE akan inf.
- Root Mean Square Error (RMSE): Baik digunakan untuk data2 yang nilai fluktuatif.

Berikut pengujian error model ini:

MAE <- MAE(y_pred = predict(lm_house_all,house_test),
           y_true = house_test$price)

## Warning in predict.lm(lm_house_all, house_test): prediction from a
## rank-deficient fit may be misleading

MAPE <- MAPE(y_pred = predict(lm_house_all,house_test),
             y_true = house_test$price)

## Warning in predict.lm(lm_house_all, house_test): prediction from a
## rank-deficient fit may be misleading

RMSE <- RMSE(y_pred = predict(lm_house_all,house_test),
         y_true = house_test$price)

## Warning in predict.lm(lm_house_all, house_test): prediction from a
## rank-deficient fit may be misleading

data.frame("MAE"=MAE,"MAPE"=MAPE,"RMSE"=RMSE)

Hasil pengujian error menggunakan 3 metode diatas menunjukan nilainya tidak begitu baik, dimana semakin kecil nilai error maka semakin baik model yang dibuat. Jika berdasarkan nilai MAE, maka model ini memiliki error kurang lebih sekitar USD 106.792.

Pemeriksaan Asumsi

Linearitas

linearity <- data.frame(residual = lm_house_model$residuals, fitted = house_train$price)
linearity %>%
  ggplot(aes(fitted, residual)) +
  geom_point() +
  geom_smooth (method = lm) +
  geom_hline(aes (yintercept = 0)) +
    theme_minimal()+
  theme (
    plot.title = element_text(hjust = 0.5),
    axis.title=element_text(size=9,face="bold"),
    axis.text.y=element_text(margin = margin(1-5)),
    axis.text.x.bottom = element_text(margin = margin(b=5)))+
mycolor_color()

## `geom_smooth()` using formula = 'y ~ x'

Berdasarkan pengujian linearity terlihat bahwa model yang dibuat belum berhasil menangkap variansi data dengan baik, terlihat error atau jarak data dari mean cukup jauh.

Normalitas Residual

hist(lm_house_model$residuals)

# Shapiro Test 
shapiro.test(lm_house_model$residuals[0:5000])

## 
##  Shapiro-Wilk normality test
## 
## data:  lm_house_model$residuals[0:5000]
## W = 0.91329, p-value < 2.2e-16

Hipotesis: - H0: Residual berdistribusi normal - H1: Residual tidak berdistribusi normal

Kesimpulan Karena nilai p-value: 0.00000000000000022 < 0.05 maka keputusannya adalah terima H1, dengan kesimpulan residual dari model tidak berdistribusi normal.

Heteroskedastisitas

lmtest::bptest(lm_house_model)

## 
##  studentized Breusch-Pagan test
## 
## data:  lm_house_model
## BP = 2191.9, df = 17, p-value < 2.2e-16

linearity <- data.frame(residual = lm_house_model$residuals, fitted = house_train$price)
linearity %>%
  ggplot(aes(fitted, residual)) +
  geom_point() +
  geom_smooth (method = "h") +
  geom_hline(aes (yintercept = 0)) +
    theme_minimal()+
theme (
  plot.title = element_text(hjust = 0.5),
  axis.title = element_text(size=9,face="bold"),
  axis.text.y = element_text(margin = margin(t = 5)),
axis.text.x.bottom = element_text(margin = margin(b = 5))
)+
mycolor_color()

## `geom_smooth()` using formula = 'y ~ x'

## Warning: Computation failed in `stat_smooth()`
## Caused by error in `get()`:
## ! object 'h' of mode 'function' was not found

Hipotesis:

H0: Data residual Homogen (tidak membentuk sebuah pola)
H1: Data residual heteros (membentuk sebuah pola)

Kesimpulan: Karena nilai p-value: 0.00000000000000022 < 0.05 maka keputusannya adalah terima H1, dengan kesimpulan residual dari model bersifat heteros, dapat dilihat membentuk sebuah pola.

Multikolinieritas

Tidak terdapat Multicollinearity dari variabel yang digunakan pada model.

car::vif(lm_house_model)

##      bedrooms     bathrooms   sqft_living      sqft_lot        floors 
##      1.654401      3.225579      8.110126      2.181094      2.032628 
##    waterfront          view     condition         grade    sqft_above 
##      1.155626      1.356082      1.252973      3.267276      6.593719 
##      yr_built  yr_renovated       zipcode           lat          long 
##      2.453294      1.141885      1.667383      1.190842      1.841302 
## sqft_living15    sqft_lot15 
##      2.961144      2.200914

Prediksi Data Testing

Berikut data hasil prediksi Price terhadap data test. price : Harga asli predict.fit : hasil prediksi fit value predict.lower : hasil prediksi prekiraan harga terendah predict.upper : hasil prediksi perkiraan harga tertinggi

predict_price <- predict(
  lm_house_model,
  house_test,
  interval = "confidence",
  level = 0.95
)

house_predict <- cbind(house_test,predict_price)

house_predict %>%
  select(
  price, fit, lwr, upr, bedrooms, bathrooms, sqft_living, sqft_lot, floors, waterfront, view, condition, grade, sqft_above, yr_built, yr_renovated, zipcode, lat, long, sqft_living15, sqft_lot15
)

Kesimpulan

Model ini memiliki nilai Adjusted R-squared : 0.7134 , hal ini menandakan bahwa model lm_house_all dapat memprediksi 71.3%. Kemudian Hasil pengujian error menggunakan metode MAE menunjukan error kurang lebih sekitar USD 106.946. Pada pengujian asumsi, model ini hanya berhasil melewati pengujian Multicollinearity sedangkan pada gagal dalam pengujian Linearity, Normality dan Heteroscedasticity. Kesimpulannya, model ini masih kurang baik jika hendak digunakan untuk memprediksi harga rumah terkait dataset ini. Saya akan coba melakukan tunning atau menggunakan metode lainnya di kesempatan selanjutnya.

LS0tDQp0aXRsZTogIlJlZ3Jlc2kgTGluZWFyIEJlcmdhbmRhIg0Kc3VidGl0bGU6ICJQcmVkaWtzaSBIYXJnYSBSdW1haCINCmF1dGhvcjogIk11aGFtbWFkIE5hdWZhbCBBcmRpYW5zeWFoIChEYXRhIFNjaWVudGlzdCkiDQpkYXRlOiAgImByIGZvcm1hdChTeXMuRGF0ZSgpLCAnJUIgJWQsICVZJylgIg0Kb3V0cHV0Og0KICBybWRmb3JtYXRzOjpyb2JvYm9vazogICAjIGh0dHBzOi8vZ2l0aHViLmNvbS9qdWJhL3JtZGZvcm1hdHMNCiAgICBzZWxmX2NvbnRhaW5lZDogdHJ1ZQ0KICAgIHRodW1ibmFpbHM6IHRydWUNCiAgICBsaWdodGJveDogdHJ1ZQ0KICAgIGdhbGxlcnk6IHRydWUNCiAgICBsaWJfZGlyOiBsaWJzDQogICAgZGZfcHJpbnQ6ICJwYWdlZCINCiAgICBjb2RlX2ZvbGRpbmc6ICJzaG93Ig0KICAgIGNvZGVfZG93bmxvYWQ6IHllcw0KICAgIGNzczogInN0eWxlLmNzcyINCg0KLS0tDQoNCg0KDQoNCjxicj4NCg0KDQo8aW1nIHN0eWxlPSJmbG9hdDogcmlnaHQ7IG1hcmdpbjogLTUwcHggNTBweCAwcHggNTBweDsgd2lkdGg6MjUlIiBzcmM9IkxhbWJhbmcuUE5HIi8+IA0KDQp8DQo6LS0tLSB8Oi0tLS0NCipLb250YWt8ICo6ICokXGRvd25hcnJvdyQqDQpFbWFpbHwgbmF1ZmFsMzQzM0BnbWFpbC5jb20NCkluc3RhZ3JhbSB8IGh0dHBzOi8vd3d3Lmluc3RhZ3JhbS5jb20vbV9uYXVmYWxhcmRpYW5zeWFoLyANClJQdWJzICB8IGh0dHBzOi8vcnB1YnMuY29tL211aGFtYWRfbmF1ZmFsLyANCg0KKioqDQoNCiMgTGF0YXIgQmVsYWthbmcNCg0KVHVqdWFuIHV0YW1hIGFuYWxpc2lzIGluaSBhZGFsYWggdW50dWsgbWVtcHJlZGlrc2kgaGFyZ2EgcGFkYSBwZW5qdWFsYW4gcnVtYWggZGkgS2luZyBDb3VudHJ5LCBXYXNoaW5ndG9uLCBBUy4gUGFkYSBhbmFsaXNpcyBpbmkgbWVuZ2d1bmFrYW4gbWV0b2RlIFJlZ3Jlc2kgTGluZWFyIEJlcmdhbmRhLiBEYXRhc2V0IHlhbmcgZGlndW5ha2FuIGJlcnVwYSBkYXRhIGhpc3RvcmlzIHBlbmp1YWxhbiBydW1haCB5YW5nIHRlcmp1YWwgYW50YXJhIGJ1bGFuIE1laSAyMDE0IGhpbmdnYSBNZWkgMjAxNS4gQW5hbGlzaXMgaW5pIG1lbmdndW5ha2FuIGRhdGEgbGFtYSBrYXJlbmEgaGFueWEgdW50dWsgZGlqYWRpa2FuIHBlbWJlbGFqYXJhbi4gVW50dWsgcGVuZXJhcGFuIGxlYmloIGxhbmp1dCBiaXNhIG1lbmdndW5ha2FuIGRhdGEgdGVyYmFydS4NCg0KIyBQZXJzaWFwYW4gRGF0YQ0KDQpIYWwgcGVydGFtYSB5YW5nIHBhc3RpIGRpbGFrdWthbiBhZGFsYWggbWVtcGVyc2lhcGthbiBkYXRhIHlhbmcgYWthbiBkaWFuYWxpc2lzLiBIYWwgaW5pIHBlbnRpbmcgZGlsYWt1a2FuIGthcmVuYSB0YW5wYSBhZGFueWEgZGF0YSBwcm9zZXMgYW5hbGlzaXMgdGlkYWsgZGFwYXQgZGlsYWt1a2FuLiBOYW11biBzZWJlbHVtIG1lbWFzdWtrYW4gZGF0YSBrZSBkYWxhbSBSIGFkYSBiZWJlcmFwYSBoYWwgeWFuZyBwZXJsdSBkaXBlcmhhdGlrYW4gZGlhbnRhcmFueWEgOg0KDQojIyBJbnN0YWxsIFBhY2thZ2VzIA0KDQpTZWJlbHVtIG1lbWFuZ2dpbCBkYXRhIHlhbmcgYWthbiBkaWFuYWxpc2lzLCBoYWwgeWFuZyBoYXJ1cyBkaWxha3VrYW4gYWRhbGFoIG1lbmcgaW5zdGFsbCBwYWNrYWdlcyB5YW5nIGRpcGVybHVrYW4uIHBhY2thZ2VzIGluaSBkaWd1bmFrYW4gdW50dWsgbWVtdWRhaGthbiBraXRhIGRhbGFtIGJla2VyamEuIEJlcmlrdXQgYWRhbGFoIGJlYmVyYXBhIHBhY2thZ2VzIHlhbmcgYWthbiBkaSBpbnN0YWxsIGRhbGFtIGFuYWxpc2lzIGluaToNCg0KYGBge3J9DQpzb3VyY2UgKCJnX3JlZ3Jlc3Npb24uUiIpDQpsaWJyYXJ5ICh0aWR5dmVyc2UpDQpsaWJyYXJ5IChkcGx5cikNCmxpYnJhcnkgKEdHYWxseSkNCmxpYnJhcnkgKGx1YnJpZGF0ZSkNCmxpYnJhcnkgKHBhbGV0dGkpDQpsaWJyYXJ5IChncmlkRXh0cmEpDQpsaWJyYXJ5IChncmlkKQ0KbGlicmFyeSAoTUxtZXRyaWNzKQ0KbGlicmFyeSAoY2FyKQ0KbGlicmFyeSAobG10ZXN0KQ0KbGlicmFyeSAoc2NhbGVzKQ0KbGlicmFyeSAobm9ydGVzdCkNCmBgYA0KDQpgYGB7cn0NCm15Y29sb3IgPSBjKA0KZGFya19ibHVlID0gIiMwMDNmNWMiLA0KbGlnaHRfYmx1ZSA9ICIjMmY0YjdjIiwNCmxpZ2h0X3B1cnBsZSA9ICIjNjY1MTkxIiwNCmRhcmtfcGluayA9ICIjYTA1MTk1IiwNCmxpZ2h0X3BpbmsgPSAiI2Q0NTA4NyIsDQpsaWdodF9yZWQgPSAiI2Y5NWQ2YSIsDQpkYXJrX29yYW5nZSA9ICIjZmY2NDM3IiwNCmxpZ2h0X29yYW5nZSA9ICIjZmY3YzQzIiwNCnNlbWlfb3JhbmdlID0gIiNlNzk2NTgiLA0Kb3JhbmdlID0gIiNkZGExNWEiLA0KY3JlYW0gPSAiI2I1OTM3OCIsDQpkYXJrX2NyZWFtID0gIiNBNTdGNUYiLA0KY2hvYyA9ICIjODU2NjRCIiwNCmRhcmtfY2hvYyA9ICIjNmI1MzQwIg0KKQ0KDQpteWNvbG9yZmlsbCA9IGMoDQogIGxpZ2h0X2JsdWUgPSAiIzJmNGI3YyIsDQogIGxpZ2h0X3B1cnBsZSA9ICIjNjY1MTkxIiwNCiAgZGFya19waW5rID0gIiNhMDUxOTUiLA0KICBsaWdodF9waW5rID0gIiNkNDUwODciLA0KICBsaWdodF9yZWQgPSAiI2Y5NWQ2YSIsDQogIGRhcmtfb3JhbmdlID0gIiNmZjYzNDciLA0KICBzZW1pX29yYW5nZSA9ICIjZTc5NjU4IiwNCiAgb3JhbmdlID0gIiNkZGExNWEiLA0KICBjcmVhbSA9ICIjYjU5Mzc4IiwNCiAgZGFya19jcmVhbSA9ICIjQTU3RjVGIiwNCiAgY2hvYyA9ICIjODU2NjRCIiwNCiAgZGFya19jaG9jID0gIiM2YjUzNDAiLA0KICBsaWdodF9vcmFuZ2UgPSAiI2ZmN2M0MyINCikNCg0KbXljb2xvcl9maWxsIDwtIGdldF9zY2FsZV9maWxsKGdldF9wYWwobXljb2xvcmZpbGwpKQ0KbXljb2xvcl9jb2xvciA8LSBnZXRfc2NhbGVfY29sb3IoZ2V0X3BhbChteWNvbG9yKSkNCm15Y29sb3JfaGV4IDwtIGdldF9oZXgobXljb2xvcikNCmBgYA0KDQoNCiMjIEltcG9ydCBEYXRhDQoNCkRhdGEgeWFuZyBkaWd1bmFrYW4gZGFsYW0gcHJvamVrIGFkYWxhaCBLQ19Ib3VzZXNhbGVzX0RhdGEsIHNpbGFoa2FuIHVudHVrIGRvd25sb2FkIGRhbiBtZW1iYWNhIHNla2lsYXMgbWVuZ2VuYWkgbGF0YXIgYmVsYWthbmcgZGF0YSB0ZXJzZWJ1dCBzZWJlbHVtIG1lbXVsYWkgbWVsYWt1a2FuIGFuYWxpc2EuDQoNCmBgYHtyfQ0KaG91c2UgPC0gcmVhZC5jc3YoImtjX2hvdXNlX2RhdGEuY3N2IikNCmRpbShob3VzZSkNCmBgYA0KYGBge3J9DQpuYW1lcyhob3VzZSkNCmBgYA0KDQpCZXJkYXNhcmthbiBkYXRhIGRpYXRhcywgZGF0YXNldCB5YW5nIGRpZ3VuYWthbiBtZW1pbGlraSAyMTU5NyBvYnNlcnZhc2kgZGFuIDIxIHZhcmlhYmVsLiBTZWxhaW4gaXR1LCBTdHJ1a3R1ciBkYXRhIHlhbmcga2l0YSBtaWxpa2kgc3VkYWggc2VzdWFpIGRlbmdhbiBrZWJ1dHVoYW4uDQoNCiMjIE1lbGloYXQgU3RydWt0dXIgRGF0YWZyYW1lDQoNCmBgYHtyfQ0KI3N0cihob3VzZSkNCnJtYXJrZG93bjo6cGFnZWRfdGFibGUoaG91c2UpDQpgYGANCg0KIyMgRWxpbWluYXNpIFZhcmlhYmVsDQoNCkRhcmkgc3RydWt0dXIgZGF0YSBkaWF0YXMgdGVyZGFwYXQgZGF0YSBpZCBkYW4gZGF0ZS4gVmFyaWFiZWwgaWQgdGlkYWsgbWVtYmVyaSBpbmZvcm1hc2kgeWFuZyBjdWt1cCBwZW50aW5nIHVudHVrIG1lbGFrdWthbiBhbmFsaXNhIHJlZ3Jlc2kgbGluZWFyLiBTZWhpbmdnYSBkYXBhdCB2YXJpYWJsZSBpbmkgZGlyZW1vdmUuIFBlcmx1IGRpY2F0YXQgYmFod2EgZGFsYW0gcHJvamVrIGluaSBraXRhIHRpZGFrIG1lbXBlcnRpbWJhbmdrYW4gdGFodW4gcGVuanVhbGFuIGthcmVuYSBkYXRhIGRpYW1iaWwgZGFyaSBNZWkgMjAxNCBoaW5nZ2EgTWVpIDIwMTUgc2VoaW5nZ2EgcGVydWJhaGFuIHdha3RpIHlhbmcgdGVyamFkaSB0aWRhayBzaWduaWZpa2FuIG1lbXBlbmdhcnVoaSBoYXJnYSBqdWFsIHBlcnVtYWhhbiB0ZXJzZWJ1dC4NCg0KYGBge3J9DQpob3VzZSA8LSBob3VzZSAlPiUNCiAgc2VsZWN0KC1pZCwtZGF0ZSkNCmBgYA0KDQpgYGB7cn0NCm5hbWVzKGhvdXNlKQ0KYGBgDQoNCiMjIERlc2tyaXBzaSBWYXJpYWJlbCANCg0KQmVyaWt1dCBpbmkgZGlsYW1waXJrYW4gYmViZXJhcGEgcGVuamVsYXNhbiBzaW5na2F0IG1lbmdlbmFpIHZhcmlhYmVsIHlhbmcgZGlndW5ha2FuIGRhbGFtIHByb2playBpbmkuIFBhZGEgZGF0YSB5YW5nIGhhbnlhIGJlcm5pbGFpICoqMSoqIGRhbiAqKjAqKiBtZW5hbmRha2FuICoqMSA9IOKAnEl5YeKAnSBkYW4gMCA9IOKAnFRpZGFr4oCdKioNCg0KfHx8DQp8LS0tLXwtLS0tfA0KfCoqQXJlYSoqfCAqKkFyZWEgcnVtYWgqKiB8DQp8R2FyYWdlfAlKdW1sYWggR2FyYXNpIHwNCnxGaXJlUGxhY2V8CUp1bWxhaCBQZXJhcGluIHwNCnxCYXRoc3wJSnVtbGFoIEthbWFyIE1hbmRpIHwNCnxXaGl0ZS5NYXJibGV8CUFwYWthaCBtZW5nZ3Vua2FuIGtlcmFtaWsg4oCcV2hpdGUgTWFyYmxl4oCdIHwNCnxCbGFjay5NYXJibGV8CUFwYWthaCBtZW5nZ3VuYWthbiBrZXJhbWlrIOKAnEJsYWNrIE1hcmJsZeKAnSB8DQp8Rmxvb3JzfAlBcGFrYWggbGFudGFpIHN1ZGFoIGRpZmxvb3JpbmcgfA0KfENpdHl8CUxva2FzaSBLb3RhIGRhcmkgcnVtYWggfA0KfFNvbGFyfAlBcGFrYWggdGVyZGFwYXQgdGVuYWdhIHN1cnlhIHwNCnxFbGVjdHJpY3wJQXBha2FoIHRlcmRhcGF0IGxpc3RyaWt8DQp8RmliZXJ8CUFwYWthaCBtZW5nZ3VuYWthbiBGaWJlciB8DQp8R2xhc3MuRG9vcnN8CUFwYWthaCBtZW5nZ3VuYWthbiBwaW50dSBrYWNhIHwNCnxTd2ltaW5nLlBvb2x8CUFwYWthaCB0ZXJkYXBhdCBrb2xhbSByZW5hbmcgfA0KfEdhcmRlbnwJQXBha2FoIHRlcmRhcGF0IHRhbWFuIHwNCnxQcmljZXN8CUhhcmdhIHJ1bWFoLiB2YXJpYWJlbCB5YW5nIGFrYW4gZGlwcmVkaWtzaSBkYWxhbSBhbmFsaXNpcyBpbmkuIHwNCg0KIyMgUGVyaWtzYSBEYXRhIEhpbGFuZw0KDQpEYWxhbSBzZXRpYXAgcHJvc2VzIHBlbmdvbGFoYW4gZGF0YSwgc2VyaW5nIHNla2FsaSBraXRhIG1lbGFrdWthbiBwZW1lcmlrc2FhbiBkYXRhIHlhbmcgaGlsYW5nIChtaXNzaW5nIHZhbHVlcykgc2ViZWx1bSBtZWxha3VrYW4gcHJvc2VzIGFuYWxpc2EuIFNlY2FyYSBzZWRlcmhhbmEgYW5kYSBkYXBhdCBtZWxha3VrYW4gcGVtZXJpa2FzYWFuIGRlbmdhbiBSLCBzZWJhZ2FpIGJlcmlrdXQ6DQoNCmBgYHtyfQ0KY29sU3Vtcyhpcy5uYShob3VzZSkpDQpgYGANCg0KUGFkYSBkYXRhIHlhbmcgYWthbiBkaWFuYWxpc2lzIHRpZGFrIHRlcmRhcGF0IG1pc3NpbmcgdmFsdWUuIE1ha2EgZGFyaSBpdHUgYW5hbGlzaXMgZGFwYXQgZGlsYW5qdXRrYW4ga2UgdGFoYXAgYmVyaWt1dG55YS4NCg0KIyMgIFJpbmdrYXNhbiBEYXRhDQoNCmBgYHtyfQ0Kc3VtbWFyeShob3VzZSkNCmBgYA0KDQojIEV4cGxvcmF0b3J5IERhdGEgQW5hbHlzaXMgKEVEQSkNCg0KS2FyZW5hIGZva3VzIHBhZGEgcHJvamVrIGluaSBhZGFsYWggbWVsYWt1a2FuIHByZWRpa3NpIGRlbmdhbiBSZWdyZXNpIExpbmVhciBiZXJnYW5kYSwgcGVybHUgZGlsYWt1a2FuIGFuYWxpc2Ega29yZWxhc2kgdW50dWsgc2V0aWFwIHZhcmlhYmVsIHlhbmcgYWRhLg0KDQojIyBNYXRyaWtzIEtvcmVsYXNpDQoNCmBgYHtyfQ0KZ2djb3JyKGhvdXNlLGxhYmVsID0gVCwgc2l6ZT0zLCBsYWJlbF9zaXplID0gMywgaGp1c3Q9MC45NSkrDQogIGxhYnMoDQogICAgdGl0bGU9Ik1hdHJpa3MgS29yZWxhc2kiDQogICkrDQogIHRoZW1lX21pbmltYWwoKSsNCiAgdGhlbWUoDQogICAgcGxvdC50aXRsZSA9IGVsZW1lbnRfdGV4dChoanVzdCA9IDAuNSksDQogICAgYXhpcy50aXRsZSA9IGVsZW1lbnRfdGV4dChzaXplPTgsIGZhY2U9ImJvbGQiKSwNCiAgICBheGlzLnRleHQueT1lbGVtZW50X2JsYW5rKCkNCiAgKQ0KYGBgDQoNCkJlcmRhc2Fya2FuIG1hdHJpa3Mga29yZWxhc2kgZGFyaSBkYXRhIGlucHV0IGRpYXRhcywgc2V0aWFwIHZhcmlhYmVsIG1lbXB1bnlhaSBwZW5nYXJ1aCB0ZXJoYWRhcCAqKlByaWNlKioga2VjdWFsaSBjb25kaXRpb24gZGFuIGxvbmdpdHVkZS4gS2VtdWRpYW4gdmFyaWFiZWwgeWFuZyBtZW1pbGlraSBrb3JlbGFzaSBwYWxpbmcgdGluZ2dpIGRlbmdhbiBQcmljZSBhZGFsYWggc3FmdF9saXZpbmcgZGFuIGdyYWRlLg0KDQojIyBQZW5jaWxhbiBIYXJnYSBSdW1haA0KDQpgYGB7cn0NCmdncGxvdChkYXRhID0gaG91c2UsIGFlcyh4ID0gcHJpY2UpKSArDQogIGdlb21faGlzdG9ncmFtKGFlcyh5ID0gLi5kZW5zaXR5Li4pLCBjb2xvciA9ICJibGFjayIsIGZpbGwgPSAid2hpdGUiKSArDQogIGdlb21fZGVuc2l0eShhbHBoYSA9IDAuMiwgZmlsbCA9ICJibHVlIikgKw0KICBsYWJzKHRpdGxlID0gIkRpc3RyaWJ1c2kgSGFyZ2EgVGFucGEgT3V0bGllciIpICsNCiAgdGhlbWVfbWluaW1hbCgpICsNCiAgdGhlbWUoDQogICAgcGxvdC50aXRsZSA9IGVsZW1lbnRfdGV4dChoanVzdCA9IDAuNSksDQogICAgYXhpcy50aXRsZSA9IGVsZW1lbnRfdGV4dChzaXplID0gOSwgZmFjZSA9ICJib2xkIiksDQogICAgYXhpcy50ZXh0LnkgPSBlbGVtZW50X3RleHQobWFyZ2luID0gbWFyZ2luKGwgPSA1KSksDQogICAgYXhpcy50ZXh0LnguYm90dG9tID0gZWxlbWVudF90ZXh0KG1hcmdpbiA9IG1hcmdpbihiID0gNSkpDQogICkNCg0KYGBgDQoNCkppa2EgZGlsaWhhdCB0ZXJkYXBhdCBjdWt1cCBiYW55YWsgZGF0YSB5YW5nIG1lbWlsaWtpIGhhcmdhIHlhbmcgamF1aCBsZWJpaCB0aW5nZ2kgZGFyaSBkYXRhIGxhaW5ueWEgc2VoaW5nZ2EgbWVueWViYWJrYW4gZGlzdHJpYnVzaSBwZW55ZWJhcmFuIGhhcmdhIHJ1bWFoIHRpZGFrIG5vcm1hbC4gU2VoaW5nYSBzYXlhIG1lbXV0dXNrYW4gdW50dWsgbWVtYnVhbmcgZGF0YSBkZW5nYW4gaGFyZ2EgeWFuZyBsZWJpaCBkYXJpIFVTRCAyMDAganV0YSBrYXJlbmEgamlrYSBkaWxpaGF0IGRhcmkgY2hhcnQgZGlzdHJpYnVzaSBkaWF0YXMgdW50dWsgZGF0YSB5YW5nIG1lbWlsaWtpIGhhcmdhIGRpYXRhcyBVU0QgMjAwIGp1dGEgc2FuZ2F0IHNlZGlraXQuIGJlcmlrdXQgaGFzaWxueWE6DQoNCmBgYHtyfQ0KbGlicmFyeShzY2FsZXMpICAjIFVudHVrIG1lbmdndW5ha2FuIGZ1bmdzaSBkb2xsYXIoKQ0KDQpob3VzZV9jbGVhbiA8LSBob3VzZSAlPiUNCiAgZmlsdGVyKHByaWNlIDwgMjAwMDAwMCkNCg0KZ2dwbG90KGhvdXNlX2NsZWFuLCBhZXMoeCA9IHByaWNlKSkgKw0KICBnZW9tX2hpc3RvZ3JhbShhZXMoeSA9IC4uZGVuc2l0eS4uKSwgY29sb3VyID0gImJsYWNrIiwgZmlsbCA9ICJ3aGl0ZSIsIGJpbndpZHRoID0gNTAwMDApICsNCiAgZ2VvbV9kZW5zaXR5KGFscGhhID0gMC4yLCBmaWxsID0gImJsdWUiKSArDQogIHNjYWxlX3hfY29udGludW91cyhuYW1lID0gIkhhcmdhIiwgbGFiZWxzID0gZG9sbGFyKSArDQogIGxhYnModGl0bGUgPSAiRGlzdHJpYnVzaSBIYXJnYSBScCAyMDAgSnV0YWFuIikgKw0KICB0aGVtZV9taW5pbWFsKCkgKw0KICB0aGVtZSgNCiAgICBwbG90LnRpdGxlID0gZWxlbWVudF90ZXh0KGhqdXN0ID0gMC41KSwNCiAgICBheGlzLnRpdGxlID0gZWxlbWVudF90ZXh0KHNpemUgPSA5LCBmYWNlID0gImJvbGQiKSwNCiAgICBheGlzLnRleHQueSA9IGVsZW1lbnRfdGV4dChtYXJnaW4gPSBtYXJnaW4obCA9IDUpKSwNCiAgICBheGlzLnRleHQueC5ib3R0b20gPSBlbGVtZW50X3RleHQobWFyZ2luID0gbWFyZ2luKGIgPSA1KSkNCiAgKQ0KDQpgYGANCg0KIyBQZW1pc2FoYW4gRGF0YQ0KDQpVbnR1ayBtZW1iYW5ndW4gbW9kZWwgcmVncmVzaSBsaW5lYXQgaW5pIHNheWEgbWVtYmFnaSBkYXRhIHRyYWluOnRlc3QgZGVuZ2FuIHByb3BvcnNpIDgwOjIwLiBQcm9wb3JzaSBpbmkgeWFuZyBzdWRhaCBzZXJpbmcgZGlndW5ha2FuIGRhbGFtIHByb3NlcyBwZW1vZGVsYW4gbWFjaGluZSBsZWFybmluZy4NCg0KYGBge3J9DQpzZXQuc2VlZCg5OTkpDQpzaXplX3RyYWluIDwtIHJvdW5kKG5yb3coaG91c2VfY2xlYW4pICogMC44KSAgIyBNZW5lbnR1a2FuIHVrdXJhbiBzYW1wZWwgdHJhaW5pbmcNCmlkeF9ob3VzZSA8LSBzYW1wbGUoeCA9IG5yb3coaG91c2VfY2xlYW4pLCBzaXplID0gc2l6ZV90cmFpbikgICMgTWVtaWxpaCBpbmRla3MgdW50dWsgc2FtcGVsIHRyYWluaW5nDQoNCmhvdXNlX3RyYWluIDwtIGhvdXNlX2NsZWFuW2lkeF9ob3VzZSwgXSAgIyBNZW1idWF0IGRhdGFzZXQgdHJhaW5pbmcNCmhvdXNlX3Rlc3QgPC0gaG91c2VfY2xlYW5bLWlkeF9ob3VzZSwgXSAgIyBNZW1idWF0IGRhdGFzZXQgdGVzdA0KDQpgYGANCg0KIyBQZW1vZGVsYW4gUmVncmVzaSBMaW5pZWFyDQoNCk1vZGVsbGluZyBtZW5nZ3VuYWthbiBtZXRvZGUgcmVncmVzaSBMaW5lYXIgaW5pIGRpbGFrdWthbiB1bnR1ayBtZW1wcmVkaWtzaSBoYXJnYSBkYXJpIHN1YXR1IHJ1bWFoIChQcmljZXMpLg0KDQojIyBQcmVkaWt0b3IgVHVuZ2dhbA0KDQpCZXJkYXNhcmthbiBtYXRyaWtzIGtvcmVsYXNpIHNlYmVsdW1ueWEsIHZhcmlhYmVsICRzcWZ0X2xpdmluZyQgZGFuICRncmFkZSQgbWVtaWxpa2kga29yZWxhc2kgcGFsaW5nIGt1YXQgZGVuZ2FuIHZhcmlhYmVsIFByaWNlLiBNYXJpIGtpdGEgY29iYToNCg0KKipMaW5lYXIgUmVncmVzc2lvbiB3aXRoIHNpbmdsZSBwcmVkaWN0b3I6IHNxZnRfbGl2aW5nKioNCg0KYGBge3J9DQpsbV9ob3VzZV9zaW5nbGVfbGl2aW5nIDwtIGxtKHByaWNlIH4gc3FmdF9saXZpbmcsIGRhdGEgPSBob3VzZV90cmFpbikNCnN1bW1hcnkobG1faG91c2Vfc2luZ2xlX2xpdmluZykNCmBgYA0KDQpKaWthIGRpbGloYXQgYmVyZGFzYXJrYW4gUC1WYWx1ZSB2YXJpYWJlbCBzcWZ0X2xpdmluZyBzYW5nYXQgYmVycGVuZ2FydWggdGVyaGFkYXAgaGFyZ2EuIE5hbXVuLCBqaWthIHNlYmFnYWkgc2luZ2xlIHByZWRpY3RvciwgbW9kZWwgaW5pIGhhbnlhIG1lbWlsaWtpIG5pbGFpIEFkanVzdGVkIFItc3F1YXJlZDogMC40NjAzIHlhbmcgYmVyYXJ0aSBoYW55YSBiZXJoYXNpbCBtZW5hbmdrYXAgdmFyaWFuc2kgZGFyaSB0YXJnZXQgc2ViZXNhciA0NiUuDQoNCioqTGluZWFyIFJlZ3Jlc3Npb24gd2l0aCBzaW5nbGUgcHJlZGljdG9yOiBncmFkZSoqDQoNCmBgYHtyfQ0KbG1faG91c2Vfc2luZ2xlX2dyYWRlIDwtIGxtKHByaWNlfmdyYWRlLGhvdXNlX3RyYWluKQ0Kc3VtbWFyeShsbV9ob3VzZV9zaW5nbGVfZ3JhZGUpDQpgYGANCg0KSmlrYSBkaWxpaGF0IGJlcmRhc2Fya2FuIFAtVmFsdWUgdmFyaWFiZWwgZ3JhZGUgc2FuZ2F0IGJlcnBlbmdhcnVoIHRlcmhhZGFwIGhhcmdhLiBOYW11biwgamlrYSBzZWJhZ2FpIHNpbmdsZSBwcmVkaWN0b3IsIG1vZGVsIGluaSBoYW55YSBtZW1pbGlraSBuaWxhaSBBZGp1c3RlZCBSLXNxdWFyZWQ6IDAuNDY0OSB5YW5nIGJlcmFydGkgaGFueWEgYmVyaGFzaWwgbWVuYW5na2FwIHZhcmlhbnNpIGRhcmkgdGFyZ2V0IHNlYmVzYXIgNDYlLg0KDQokS2VzaW1wdWxhbiQ6IE1vZGVsIExpbmVhciBSZWdyZXNzaW9uIG1lbmdndW5ha2FuIHNpbmdsZSBwcmVkaWN0b3IgdGlkYWsgY29jb2sgZGl0ZXJhcGthbiB1bnR1ayBtZW5lbnR1a2FuIGhhcmdhIHJ1bWFoIHBhZGEgZGF0YXNldCBpbmkuDQoNCiMjIFByZWRpa3RvciBHYW5kYQ0KDQpgYGB7cn0NCiMgTXVsdGlwbGUgTGluZWFyIFJlZ3Jlc3Npb24NCmxtX2hvdXNlX2FsbCA8LSBsbShwcmljZX4uLCBkYXRhPWhvdXNlX3RyYWluKQ0Kc3VtbWFyeShsbV9ob3VzZV9hbGwpDQpgYGANCg0KSGFzaWwgc3VtbWFyeSBkYXJpIG1vZGVsICoqbG1faG91c2VfYWxsKiogbWVtYmVyaWthbiBiYW55YWsgaW5mb3JtYXNpLiBuaWxhaSBFc3RpbWF0ZSBtZW5naW50ZXJwcmV0YXNpa2FuIG5pbGFpIHNldGlhcCBrb2VmaXNpZW4sIG1pc2FsbnlhIGFwYWJpbGEgcnVtYWggbWVtaWxpa2kgd2F0ZXJmcm9udCBtYWthIGFrYW4gYmVya29udHJpYnVzaSBwYWRhIGtlbmFpa2FuIGhhcmdhIHJ1bWFoIHNlYmVzYXIgKipVU0QgMjc2MjgyLjA2KiouIFRhcGkga2FsYXUgZGlsaWhhdCB5YW5nIGFuZWggcGFkYSB2YXJpYWJlbCAqKmJlZHJvb21zKiosIGppa2EganVtbGFoIGthbWFyIGJlcnRhbWJhaCAxIG1ha2EgaGFyZ2EgcnVtYWggYmVya3VyYW4gc2ViZXNhciAqKlVTRCAtMTU1NDUuNjQqKiwgYXBha2FoIGRpZGFlcmFoIHNhbmEgb3JhbmcgZ2FrIHN1a2Ega2FtYXIgYmFueWFrPw0KDQpNYXJpIG1lbGloYXQgbmlsYWkgZGFyaSAqKlByKD58dHwpKiosIG5pbGFpIGluaSBtZW51bmp1a2FuIHNlYmVyYXBhIGJlc2FyIHN1YXR1IHZhcmlhYmVsIGJlcnBlbmdhcnVoIHVudHVrIG1lbXByZWRpa3NpICoqUHJpY2VzKiouIGppa2EgbmlsYWlueWEgKipQcig+fHR8KSoqIGRpYmF3YWggMC4wNSBtYWthIGRhcGF0IGRpYXN1bXNpa2FuIGJhaHdhIHZhcmlhYmVsIG1lbWlsaWtpIHBlbmdhcnVoIHNpZ25pZmlrYW4gZGFuIHNlYmFsaWtueWEuIEJlcmRhc2Fya2FuIHN1bW1hcnkgbW9kZWwgZGlhdGFzLCB2YXJpYWJlbCAqKnNxZnRfYWJvdmUqKiBkYW4gKipzcWZ0X2Jhc2VtZW50KiogbWVtaWxraSBuaWxhaSBQIFZhbHVlID4gMC4wNSBiYWhrYW4gTkEgVmFsdWUsIHNlaGluZ2dhIHZhcmlhYmVsIGluaSBkYXBhdCBkaSBleGNsdWRlIGRhcmkgcHJlZGlrdG9yLiBOYW11biBzYXlhIG1hc2loIGt1cmFuZyBtZW5nZXJ0aSB1bnR1ayBtZW5kZWt0c2kgc2luZ3VsYXJpdGFzIHBhZGEgdmFyaWFiZWwgKipzcWZ0X2Jhc2VtZW50KiosIG5leHQgc2F5YSB1cGRhdGUgdGVya2FpdCBpbmkuDQoNClNlbGFpbiBpdHUsIGppa2EgZGlsaWhhdCBuaWxhaSAqKkFkanVzdGVkIFItc3F1YXJlZDowLjcxMzQqKiAsIGhhbCBpbmkgbWVuYW5kYWthbiBiYWh3YSBtb2RlbCAqKmxtX2hvdXNlX2FsbCoqIGRhcGF0IG1lbXByZWRpa3NpIDcxLjMlLiBBbmdrYSB5YW5nIGJlbHVtIGN1a3VwIGJhZ3VzLCB0YXBpIGNvYmEga2l0YSBzZWxlc2Fpa2FuLg0KDQojIEV2YWx1YXNpIE1vZGVsDQoNCkJlcmRhc2Fya2FuIGhhc2lsIHN0ZXB3aXNlIGJhY2t3YXJkLCBmb3JtdWxhIHVudHVrIE11bHRpcGxlIExpbmVhciBSZWdyZXNzaW9uIHlhbmcgZGlzYXJhbmthbjoNCg0KKipGb3JtdWxhOg0KbG0ocHJpY2UgfiBiZWRyb29tcyArIGJhdGhyb29tcyArIHNxZnRfbGl2aW5nICsgc3FmdF9sb3QgKyBmbG9vcnMgKyB3YXRlcmZyb250ICsgdmlldyArIGNvbmRpdGlvbiArIGdyYWRlICsgc3FmdF9hYm92ZSArIHlyX2J1aWx0ICsgeXJfcmVub3ZhdGVkICsgemlwY29kZSArIGxhdCArIGxvbmcgKyBzcWZ0X2xpdmluZzE1ICsgc3FmdF9sb3QxNSwgZGF0YT1ob3VzZV90cmFpbikqKg0KDQpgYGB7cn0NCmxtX2hvdXNlX21vZGVsIDwtIGxtKHByaWNlIH4gYmVkcm9vbXMgKyBiYXRocm9vbXMgKyBzcWZ0X2xpdmluZyArIHNxZnRfbG90ICsgZmxvb3JzICsgd2F0ZXJmcm9udCArIHZpZXcgKyBjb25kaXRpb24gKyBncmFkZSArIHNxZnRfYWJvdmUgKyB5cl9idWlsdCArIHlyX3Jlbm92YXRlZCArIHppcGNvZGUgKyBsYXQgKyBsb25nICsgc3FmdF9saXZpbmcxNSArIHNxZnRfbG90MTUsIGRhdGE9aG91c2VfdHJhaW4pDQpgYGANCg0KIyMgQWt1cmFzaSBWcyBFcnJvcg0KDQpDYXJhIGV2YWx1YXNpIG1vZGVsIGRpIGthc3VzIHJlZ3Jlc2kgZGFwYXQgbWVuZ2d1bmFrYW4gYmViZXJhcGEgbWF0cmlrcyBwZW5pbGFpYW4sIGFudGFyYSBsYWluOg0KDQotICoqQWt1cmFzaSoqOiBNb2RlbCB5YW5nIGRpYnVhdCBtZW5nZ3VuYWthbiBtdWx0aXBsZSBwcmVkaWN0b3Igc2VoaW5nZ2EgbmlsYWkgeWFuZyBiYWlrIGRpaW50ZXJwcmV0YXNpa2FuIGFkYWxhaCBuaWxhaSAqKkFkanVzdGVkIFItc3F1YXJlZCoqLiBEYXJpIGhhc2kgZGlhdGFzLCBtb2RlbCBpbmkgbWVtaWxpa2kgbmlsYWkgKipBZGp1c3RlZCBSLXNxdWFyZWQqKiA6IDAuNzEzNCAsIGhhbCBpbmkgbWVuYW5kYWthbiBiYWh3YSBtb2RlbCBsbV9ob3VzZV9hbGwgZGFwYXQgbWVtcHJlZGlrc2kgNzEuMyUuIEFuZ2thIHlhbmcgYmVsdW0gY3VrdXAgYmFndXMsIGFrYW4gZGljb2JhIGxhZ2kgbWVuZ2d1bmFrYW4gbWV0b2RlIGxhaW4gZGlrZXNlbXBhdGFuIGJlcmlrdXRueWEuDQoNCi0gKipFcnJvcioqOiBEYWxhbSBoYWwgaW5pIGFuZGEgZGFwYXQgbWVsYWt1a2FuIHBlbWVyaWtzYWFuIGVycm9yIGRlbmdhbiBiZWJlcmFwYSBwYXJhbWV0ZXIgYmVyaWt1dDoNCiAgLSAqKk1lYW4gQWJzb2x1dGUgRXJyb3IgKE1BRSkqKjogUGFsaW5nIG11ZGFoIHVudHVrIGRpIGludGVycHJldGFzaWthbiBrYXJlbmEgZGliYW5kaW5na2FuIGRlbmdhbiBzYXR1YW4gZGF0YSBha3R1YWwuDQogIC0gKipNZWFuIEFic29sdXRlIFBlcmNlbnRhZ2UgRXJyb3IgKE1BUEUpKio6IFB1bnlhIGludGVydmFsIGJlcmFwYSBwZXJzZW50YXNpIGtlc2FsYWhhbiBtb2RlbCB5YW5nIHRlbGFoIGRpYmFuZ3VuICgwIHNkIDEwMCUpLiBOYW11biBNQVBFIHRlcmRhcGF0IGJhdGFzYW4sIGFwYWJpbGEgcGFkYSBkYXRhIGFrdHVhbCBtZW1pbGlraSBuaWxhaSAwLCBNQVBFIGFrYW4gaW5mLg0KICAtICoqUm9vdCBNZWFuIFNxdWFyZSBFcnJvciAoUk1TRSoqKTogQmFpayBkaWd1bmFrYW4gdW50dWsgZGF0YTIgeWFuZyBuaWxhaSBmbHVrdHVhdGlmLg0KICANCkJlcmlrdXQgcGVuZ3VqaWFuIGVycm9yIG1vZGVsIGluaToNCg0KYGBge3J9DQpNQUUgPC0gTUFFKHlfcHJlZCA9IHByZWRpY3QobG1faG91c2VfYWxsLGhvdXNlX3Rlc3QpLA0KICAgICAgICAgICB5X3RydWUgPSBob3VzZV90ZXN0JHByaWNlKQ0KDQpNQVBFIDwtIE1BUEUoeV9wcmVkID0gcHJlZGljdChsbV9ob3VzZV9hbGwsaG91c2VfdGVzdCksDQogICAgICAgICAgICAgeV90cnVlID0gaG91c2VfdGVzdCRwcmljZSkNCg0KUk1TRSA8LSBSTVNFKHlfcHJlZCA9IHByZWRpY3QobG1faG91c2VfYWxsLGhvdXNlX3Rlc3QpLA0KICAgICAgICAgeV90cnVlID0gaG91c2VfdGVzdCRwcmljZSkNCg0KZGF0YS5mcmFtZSgiTUFFIj1NQUUsIk1BUEUiPU1BUEUsIlJNU0UiPVJNU0UpDQpgYGANCg0KSGFzaWwgcGVuZ3VqaWFuIGVycm9yIG1lbmdndW5ha2FuIDMgbWV0b2RlIGRpYXRhcyBtZW51bmp1a2FuIG5pbGFpbnlhICoqdGlkYWsgYmVnaXR1IGJhaWsqKiwgZGltYW5hIHNlbWFraW4ga2VjaWwgbmlsYWkgZXJyb3IgbWFrYSBzZW1ha2luIGJhaWsgbW9kZWwgeWFuZyBkaWJ1YXQuIEppa2EgYmVyZGFzYXJrYW4gbmlsYWkgTUFFLCBtYWthIG1vZGVsIGluaSBtZW1pbGlraSBlcnJvciBrdXJhbmcgbGViaWggc2VraXRhciBVU0QgMTA2Ljc5Mi4NCg0KIyMgUGVtZXJpa3NhYW4gQXN1bXNpIA0KDQojIyMgTGluZWFyaXRhcw0KDQpgYGB7cn0NCmxpbmVhcml0eSA8LSBkYXRhLmZyYW1lKHJlc2lkdWFsID0gbG1faG91c2VfbW9kZWwkcmVzaWR1YWxzLCBmaXR0ZWQgPSBob3VzZV90cmFpbiRwcmljZSkNCmxpbmVhcml0eSAlPiUNCiAgZ2dwbG90KGFlcyhmaXR0ZWQsIHJlc2lkdWFsKSkgKw0KICBnZW9tX3BvaW50KCkgKw0KICBnZW9tX3Ntb290aCAobWV0aG9kID0gbG0pICsNCiAgZ2VvbV9obGluZShhZXMgKHlpbnRlcmNlcHQgPSAwKSkgKw0KICAgIHRoZW1lX21pbmltYWwoKSsNCiAgdGhlbWUgKA0KICAgIHBsb3QudGl0bGUgPSBlbGVtZW50X3RleHQoaGp1c3QgPSAwLjUpLA0KICAgIGF4aXMudGl0bGU9ZWxlbWVudF90ZXh0KHNpemU9OSxmYWNlPSJib2xkIiksDQogICAgYXhpcy50ZXh0Lnk9ZWxlbWVudF90ZXh0KG1hcmdpbiA9IG1hcmdpbigxLTUpKSwNCiAgICBheGlzLnRleHQueC5ib3R0b20gPSBlbGVtZW50X3RleHQobWFyZ2luID0gbWFyZ2luKGI9NSkpKSsNCm15Y29sb3JfY29sb3IoKQ0KYGBgDQoNCkJlcmRhc2Fya2FuIHBlbmd1amlhbiBsaW5lYXJpdHkgdGVybGloYXQgYmFod2EgbW9kZWwgeWFuZyBkaWJ1YXQgYmVsdW0gYmVyaGFzaWwgbWVuYW5na2FwIHZhcmlhbnNpIGRhdGEgZGVuZ2FuIGJhaWssIHRlcmxpaGF0IGVycm9yIGF0YXUgamFyYWsgZGF0YSBkYXJpIG1lYW4gY3VrdXAgamF1aC4NCg0KIyMjIE5vcm1hbGl0YXMgUmVzaWR1YWwNCg0KYGBge3J9DQpoaXN0KGxtX2hvdXNlX21vZGVsJHJlc2lkdWFscykNCmBgYA0KDQpgYGB7cn0NCiMgU2hhcGlybyBUZXN0IA0Kc2hhcGlyby50ZXN0KGxtX2hvdXNlX21vZGVsJHJlc2lkdWFsc1swOjUwMDBdKQ0KYGBgDQoNCioqSGlwb3Rlc2lzOioqDQotIEgwOiBSZXNpZHVhbCBiZXJkaXN0cmlidXNpIG5vcm1hbA0KLSBIMTogUmVzaWR1YWwgdGlkYWsgYmVyZGlzdHJpYnVzaSBub3JtYWwNCg0KKipLZXNpbXB1bGFuKiogS2FyZW5hIG5pbGFpICoqcC12YWx1ZSoqOiAwLjAwMDAwMDAwMDAwMDAwMDIyIDwgMC4wNSBtYWthIGtlcHV0dXNhbm55YSBhZGFsYWggdGVyaW1hIEgxLCBkZW5nYW4ga2VzaW1wdWxhbiByZXNpZHVhbCBkYXJpIG1vZGVsIHRpZGFrIGJlcmRpc3RyaWJ1c2kgbm9ybWFsLg0KDQojIyMgSGV0ZXJvc2tlZGFzdGlzaXRhcw0KDQpgYGB7cn0NCmxtdGVzdDo6YnB0ZXN0KGxtX2hvdXNlX21vZGVsKQ0KYGBgDQoNCmBgYHtyfQ0KbGluZWFyaXR5IDwtIGRhdGEuZnJhbWUocmVzaWR1YWwgPSBsbV9ob3VzZV9tb2RlbCRyZXNpZHVhbHMsIGZpdHRlZCA9IGhvdXNlX3RyYWluJHByaWNlKQ0KbGluZWFyaXR5ICU+JQ0KICBnZ3Bsb3QoYWVzKGZpdHRlZCwgcmVzaWR1YWwpKSArDQogIGdlb21fcG9pbnQoKSArDQogIGdlb21fc21vb3RoIChtZXRob2QgPSAiaCIpICsNCiAgZ2VvbV9obGluZShhZXMgKHlpbnRlcmNlcHQgPSAwKSkgKw0KICAgIHRoZW1lX21pbmltYWwoKSsNCnRoZW1lICgNCiAgcGxvdC50aXRsZSA9IGVsZW1lbnRfdGV4dChoanVzdCA9IDAuNSksDQogIGF4aXMudGl0bGUgPSBlbGVtZW50X3RleHQoc2l6ZT05LGZhY2U9ImJvbGQiKSwNCiAgYXhpcy50ZXh0LnkgPSBlbGVtZW50X3RleHQobWFyZ2luID0gbWFyZ2luKHQgPSA1KSksDQpheGlzLnRleHQueC5ib3R0b20gPSBlbGVtZW50X3RleHQobWFyZ2luID0gbWFyZ2luKGIgPSA1KSkNCikrDQpteWNvbG9yX2NvbG9yKCkNCmBgYA0KDQoqKkhpcG90ZXNpczoqKg0KDQotIEgwOiBEYXRhIHJlc2lkdWFsIEhvbW9nZW4gKHRpZGFrIG1lbWJlbnR1ayBzZWJ1YWggcG9sYSkNCi0gSDE6IERhdGEgcmVzaWR1YWwgaGV0ZXJvcyAobWVtYmVudHVrIHNlYnVhaCBwb2xhKQ0KDQoqKktlc2ltcHVsYW46KioNCkthcmVuYSBuaWxhaSAqKnAtdmFsdWUqKjogMC4wMDAwMDAwMDAwMDAwMDAyMiA8IDAuMDUgbWFrYSBrZXB1dHVzYW5ueWEgYWRhbGFoIHRlcmltYSBIMSwgZGVuZ2FuIGtlc2ltcHVsYW4gcmVzaWR1YWwgZGFyaSBtb2RlbCBiZXJzaWZhdCBoZXRlcm9zLCBkYXBhdCBkaWxpaGF0IG1lbWJlbnR1ayBzZWJ1YWggcG9sYS4NCg0KIyMjIE11bHRpa29saW5pZXJpdGFzDQoNClRpZGFrIHRlcmRhcGF0IE11bHRpY29sbGluZWFyaXR5IGRhcmkgdmFyaWFiZWwgeWFuZyBkaWd1bmFrYW4gcGFkYSBtb2RlbC4NCg0KYGBge3J9DQpjYXI6OnZpZihsbV9ob3VzZV9tb2RlbCkNCmBgYA0KDQojIFByZWRpa3NpIERhdGEgVGVzdGluZw0KDQpCZXJpa3V0IGRhdGEgaGFzaWwgcHJlZGlrc2kgUHJpY2UgdGVyaGFkYXAgZGF0YSB0ZXN0Lg0KKipwcmljZSoqIDogSGFyZ2EgYXNsaQ0KKipwcmVkaWN0LmZpdCoqIDogaGFzaWwgcHJlZGlrc2kgZml0IHZhbHVlDQoqKnByZWRpY3QubG93ZXIqKiA6IGhhc2lsIHByZWRpa3NpIHByZWtpcmFhbiBoYXJnYSB0ZXJlbmRhaA0KKipwcmVkaWN0LnVwcGVyKiogOiBoYXNpbCBwcmVkaWtzaSBwZXJraXJhYW4gaGFyZ2EgdGVydGluZ2dpDQoNCmBgYHtyfQ0KcHJlZGljdF9wcmljZSA8LSBwcmVkaWN0KA0KICBsbV9ob3VzZV9tb2RlbCwNCiAgaG91c2VfdGVzdCwNCiAgaW50ZXJ2YWwgPSAiY29uZmlkZW5jZSIsDQogIGxldmVsID0gMC45NQ0KKQ0KDQpob3VzZV9wcmVkaWN0IDwtIGNiaW5kKGhvdXNlX3Rlc3QscHJlZGljdF9wcmljZSkNCg0KaG91c2VfcHJlZGljdCAlPiUNCiAgc2VsZWN0KA0KICBwcmljZSwgZml0LCBsd3IsIHVwciwgYmVkcm9vbXMsIGJhdGhyb29tcywgc3FmdF9saXZpbmcsIHNxZnRfbG90LCBmbG9vcnMsIHdhdGVyZnJvbnQsIHZpZXcsIGNvbmRpdGlvbiwgZ3JhZGUsIHNxZnRfYWJvdmUsIHlyX2J1aWx0LCB5cl9yZW5vdmF0ZWQsIHppcGNvZGUsIGxhdCwgbG9uZywgc3FmdF9saXZpbmcxNSwgc3FmdF9sb3QxNQ0KKQ0KYGBgDQoNCiMgS2VzaW1wdWxhbiANCg0KTW9kZWwgaW5pIG1lbWlsaWtpIG5pbGFpICoqQWRqdXN0ZWQgUi1zcXVhcmVkIDogMC43MTM0KiogLCBoYWwgaW5pIG1lbmFuZGFrYW4gYmFod2EgbW9kZWwgbG1faG91c2VfYWxsIGRhcGF0IG1lbXByZWRpa3NpICoqNzEuMyUqKi4gS2VtdWRpYW4gSGFzaWwgcGVuZ3VqaWFuIGVycm9yIG1lbmdndW5ha2FuIG1ldG9kZSBNQUUgbWVudW5qdWthbiBlcnJvciBrdXJhbmcgbGViaWggc2VraXRhciAqKlVTRCAxMDYuOTQ2KiouIFBhZGEgcGVuZ3VqaWFuIGFzdW1zaSwgbW9kZWwgaW5pIGhhbnlhIGJlcmhhc2lsIG1lbGV3YXRpIHBlbmd1amlhbiBNdWx0aWNvbGxpbmVhcml0eSBzZWRhbmdrYW4gcGFkYSBnYWdhbCBkYWxhbSBwZW5ndWppYW4gTGluZWFyaXR5LCBOb3JtYWxpdHkgZGFuIEhldGVyb3NjZWRhc3RpY2l0eS4gS2VzaW1wdWxhbm55YSwgbW9kZWwgaW5pIG1hc2loIGt1cmFuZyBiYWlrIGppa2EgaGVuZGFrIGRpZ3VuYWthbiB1bnR1ayBtZW1wcmVkaWtzaSBoYXJnYSBydW1haCB0ZXJrYWl0IGRhdGFzZXQgaW5pLiBTYXlhIGFrYW4gY29iYSBtZWxha3VrYW4gdHVubmluZyBhdGF1IG1lbmdndW5ha2FuIG1ldG9kZSBsYWlubnlhIGRpIGtlc2VtcGF0YW4gc2VsYW5qdXRueWEu