Teoría

El Bosque Aleatorio es un algoritmo de aprendizaje automático que combina el resultado de múltiples árboles de decisión para llegar a un resultado ótimo.

Es variable categórica

Ejemplo 1. Melbourne

En esta base de datos tenemos los precios de más de 13,000 casas de la ciudad de Melbourne:

#” Instalar paquetes y llamar librerías 

#install.packages("tidyverse")
library(tidyverse)
#install.packages("rpart")
library(rpart)
#install.packages("rpart.plot")
library(rpart.plot)
#install.packages("randomForest")
library(randomForest)
#install.packages("modelr") #Calcular errores
library(modelr)
#install.packages("caret") #Calcular errores
library(caret)
#install.packages("randomForest")
library(randomForest)

Leer base de Datos 

df<- read.csv("C:\\Users\\atene\\Downloads\\R_Concentracion\\melbourne.csv")

Entender la base de Datos 

summary(df)
##     Suburb            Address              Rooms            Type          
##  Length:13580       Length:13580       Min.   : 1.000   Length:13580      
##  Class :character   Class :character   1st Qu.: 2.000   Class :character  
##  Mode  :character   Mode  :character   Median : 3.000   Mode  :character  
##                                        Mean   : 2.938                     
##                                        3rd Qu.: 3.000                     
##                                        Max.   :10.000                     
##                                                                           
##      Price            Method            SellerG              Date          
##  Min.   :  85000   Length:13580       Length:13580       Length:13580      
##  1st Qu.: 650000   Class :character   Class :character   Class :character  
##  Median : 903000   Mode  :character   Mode  :character   Mode  :character  
##  Mean   :1075684                                                           
##  3rd Qu.:1330000                                                           
##  Max.   :9000000                                                           
##                                                                            
##     Distance        Postcode       Bedroom2         Bathroom    
##  Min.   : 0.00   Min.   :3000   Min.   : 0.000   Min.   :0.000  
##  1st Qu.: 6.10   1st Qu.:3044   1st Qu.: 2.000   1st Qu.:1.000  
##  Median : 9.20   Median :3084   Median : 3.000   Median :1.000  
##  Mean   :10.14   Mean   :3105   Mean   : 2.915   Mean   :1.534  
##  3rd Qu.:13.00   3rd Qu.:3148   3rd Qu.: 3.000   3rd Qu.:2.000  
##  Max.   :48.10   Max.   :3977   Max.   :20.000   Max.   :8.000  
##                                                                 
##       Car           Landsize         BuildingArea     YearBuilt   
##  Min.   : 0.00   Min.   :     0.0   Min.   :    0   Min.   :1196  
##  1st Qu.: 1.00   1st Qu.:   177.0   1st Qu.:   93   1st Qu.:1940  
##  Median : 2.00   Median :   440.0   Median :  126   Median :1970  
##  Mean   : 1.61   Mean   :   558.4   Mean   :  152   Mean   :1965  
##  3rd Qu.: 2.00   3rd Qu.:   651.0   3rd Qu.:  174   3rd Qu.:1999  
##  Max.   :10.00   Max.   :433014.0   Max.   :44515   Max.   :2018  
##  NA's   :62                         NA's   :6450    NA's   :5375  
##  CouncilArea          Lattitude        Longtitude     Regionname       
##  Length:13580       Min.   :-38.18   Min.   :144.4   Length:13580      
##  Class :character   1st Qu.:-37.86   1st Qu.:144.9   Class :character  
##  Mode  :character   Median :-37.80   Median :145.0   Mode  :character  
##                     Mean   :-37.81   Mean   :145.0                     
##                     3rd Qu.:-37.76   3rd Qu.:145.1                     
##                     Max.   :-37.41   Max.   :145.5                     
##                                                                        
##  Propertycount  
##  Min.   :  249  
##  1st Qu.: 4380  
##  Median : 6555  
##  Mean   : 7454  
##  3rd Qu.:10331  
##  Max.   :21650  
## 
str(df)
## 'data.frame':    13580 obs. of  21 variables:
##  $ Suburb       : chr  "Abbotsford" "Abbotsford" "Abbotsford" "Abbotsford" ...
##  $ Address      : chr  "85 Turner St" "25 Bloomburg St" "5 Charles St" "40 Federation La" ...
##  $ Rooms        : int  2 2 3 3 4 2 3 2 1 2 ...
##  $ Type         : chr  "h" "h" "h" "h" ...
##  $ Price        : num  1480000 1035000 1465000 850000 1600000 ...
##  $ Method       : chr  "S" "S" "SP" "PI" ...
##  $ SellerG      : chr  "Biggin" "Biggin" "Biggin" "Biggin" ...
##  $ Date         : chr  "3/12/2016" "4/02/2016" "4/03/2017" "4/03/2017" ...
##  $ Distance     : num  2.5 2.5 2.5 2.5 2.5 2.5 2.5 2.5 2.5 2.5 ...
##  $ Postcode     : num  3067 3067 3067 3067 3067 ...
##  $ Bedroom2     : num  2 2 3 3 3 2 4 2 1 3 ...
##  $ Bathroom     : num  1 1 2 2 1 1 2 1 1 1 ...
##  $ Car          : num  1 0 0 1 2 0 0 2 1 2 ...
##  $ Landsize     : num  202 156 134 94 120 181 245 256 0 220 ...
##  $ BuildingArea : num  NA 79 150 NA 142 NA 210 107 NA 75 ...
##  $ YearBuilt    : num  NA 1900 1900 NA 2014 ...
##  $ CouncilArea  : chr  "Yarra" "Yarra" "Yarra" "Yarra" ...
##  $ Lattitude    : num  -37.8 -37.8 -37.8 -37.8 -37.8 ...
##  $ Longtitude   : num  145 145 145 145 145 ...
##  $ Regionname   : chr  "Northern Metropolitan" "Northern Metropolitan" "Northern Metropolitan" "Northern Metropolitan" ...
##  $ Propertycount: num  4019 4019 4019 4019 4019 ...
df <- na.omit(df)

Árbol de Decisión 

#Variables numéricas
arbol <- rpart(Price ~ Rooms + Distance + Bedroom2 + Bathroom + Car + Landsize + BuildingArea + YearBuilt +Propertycount, data = df)
plot(arbol, uniform = TRUE)
text(arbol, cex=.5)

predict(arbol,head(df)) #Predicción
##       2       3       5       7       8      10 
## 1095996 1562641 1070605 2422140 1095996 1095996
prueba_arbol <- head(df)

#La matriz de confusión dentro de categorías cuánto le acertaste pero en este caso no.
#Mediciones de error

#MAE: Error cuadrado promedio (Ventaja:Mismas unidades)
mae_arbol <- mae(arbol, prueba_arbol)

Árbol de Decisión 

set.seed(123)
library(caret)
renglones_entrenamiento <- createDataPartition(df$Price, p=0.8, list=FALSE)
entrenamiento <- df[-renglones_entrenamiento,]
prueba <- df[-renglones_entrenamiento, ]
rf <- randomForest(Price ~ Rooms + Distance + Bedroom2 + Bathroom +Car + Landsize + BuildingArea + YearBuilt + Propertycount, data=entrenamiento, ntree=500, mtry=3, importance=TRUE)

resultado_entrenamiento <- predict(rf,entrenamiento)
resultado_prueba <- predict(rf,prueba)

mae_rf <- mae(rf,prueba)

resultados <- tibble(Modelo = c("Árbol de decisión", "Bosque Aleatorio"), MAE = c(mae_arbol, mae_rf))
resultados
## # A tibble: 2 × 2
##   Modelo                MAE
##   <chr>               <dbl>
## 1 Árbol de decisión 295863.
## 2 Bosque Aleatorio  106054.

Ejemplo 2. Rendimiento Automotriz

Leer base de Datos rendimiento de los carros mpg

df2<- mtcars

Entender la base de Datos 

summary(df2)
##       mpg             cyl             disp             hp       
##  Min.   :10.40   Min.   :4.000   Min.   : 71.1   Min.   : 52.0  
##  1st Qu.:15.43   1st Qu.:4.000   1st Qu.:120.8   1st Qu.: 96.5  
##  Median :19.20   Median :6.000   Median :196.3   Median :123.0  
##  Mean   :20.09   Mean   :6.188   Mean   :230.7   Mean   :146.7  
##  3rd Qu.:22.80   3rd Qu.:8.000   3rd Qu.:326.0   3rd Qu.:180.0  
##  Max.   :33.90   Max.   :8.000   Max.   :472.0   Max.   :335.0  
##       drat             wt             qsec             vs        
##  Min.   :2.760   Min.   :1.513   Min.   :14.50   Min.   :0.0000  
##  1st Qu.:3.080   1st Qu.:2.581   1st Qu.:16.89   1st Qu.:0.0000  
##  Median :3.695   Median :3.325   Median :17.71   Median :0.0000  
##  Mean   :3.597   Mean   :3.217   Mean   :17.85   Mean   :0.4375  
##  3rd Qu.:3.920   3rd Qu.:3.610   3rd Qu.:18.90   3rd Qu.:1.0000  
##  Max.   :4.930   Max.   :5.424   Max.   :22.90   Max.   :1.0000  
##        am              gear            carb      
##  Min.   :0.0000   Min.   :3.000   Min.   :1.000  
##  1st Qu.:0.0000   1st Qu.:3.000   1st Qu.:2.000  
##  Median :0.0000   Median :4.000   Median :2.000  
##  Mean   :0.4062   Mean   :3.688   Mean   :2.812  
##  3rd Qu.:1.0000   3rd Qu.:4.000   3rd Qu.:4.000  
##  Max.   :1.0000   Max.   :5.000   Max.   :8.000
str(df2)
## 'data.frame':    32 obs. of  11 variables:
##  $ mpg : num  21 21 22.8 21.4 18.7 18.1 14.3 24.4 22.8 19.2 ...
##  $ cyl : num  6 6 4 6 8 6 8 4 4 6 ...
##  $ disp: num  160 160 108 258 360 ...
##  $ hp  : num  110 110 93 110 175 105 245 62 95 123 ...
##  $ drat: num  3.9 3.9 3.85 3.08 3.15 2.76 3.21 3.69 3.92 3.92 ...
##  $ wt  : num  2.62 2.88 2.32 3.21 3.44 ...
##  $ qsec: num  16.5 17 18.6 19.4 17 ...
##  $ vs  : num  0 0 1 1 0 1 0 1 1 1 ...
##  $ am  : num  1 1 1 0 0 0 0 0 0 0 ...
##  $ gear: num  4 4 4 3 3 3 3 4 4 4 ...
##  $ carb: num  4 4 1 1 2 1 4 2 2 4 ...
df <- na.omit(df2)

Árbol de Decisión 

#Variables numéricas
arbol2 <- rpart(mpg ~ cyl + disp + hp+ wt + qsec + gear + carb, data = df2)
rpart.plot(arbol2, type=2, extra=101)
text(arbol2, cex=.3)

predict(arbol2,head(df2)) #Predicción
##         Mazda RX4     Mazda RX4 Wag        Datsun 710    Hornet 4 Drive 
##          18.26429          18.26429          26.66364          18.26429 
## Hornet Sportabout           Valiant 
##          18.26429          18.26429
head(df2$mpg)
## [1] 21.0 21.0 22.8 21.4 18.7 18.1
prueba_arbol2 <- head(df2)

#La matriz de confusión dentro de categorías cuánto le acertaste pero en este caso no.
#Mediciones de error

#MAE: Error cuadrado promedio (Ventaja:Mismas unidades)
mae_arbol2 <- mae(arbol2, prueba_arbol2)
set.seed(123)
library(caret)
renglones_entrenamiento2 <- createDataPartition(df2$mpg, p=0.8, list=FALSE)
entrenamiento2 <- df2[-renglones_entrenamiento2,]
prueba2 <- df2[-renglones_entrenamiento2, ]
rf2 <- randomForest(mpg ~ cyl + disp + hp + wt + qsec + gear + carb, data = entrenamiento2, ntree=500, mtry=3, importance=TRUE)
## Warning in randomForest.default(m, y, ...): The response has five or fewer
## unique values.  Are you sure you want to do regression?
resultado_entrenamiento2 <- predict(rf2,entrenamiento2)
resultado_prueba2 <- predict(rf2,prueba2)

mae_rf2 <- mae(rf2,prueba2)

resultados2 <- tibble(Modelo = c("Árbol de decisión", "Bosque Aleatorio"), MAE = c(mae_arbol2, mae_rf2))
resultados2
## # A tibble: 2 × 2
##   Modelo              MAE
##   <chr>             <dbl>
## 1 Árbol de decisión  2.18
## 2 Bosque Aleatorio   2.20
LS0tDQp0aXRsZTogIkJvc3F1ZSBBbGVhdG9yaW8iDQphdXRob3I6ICJBdGVuZWEgTG9wZXogQ29yb25hIg0KZGF0ZTogIjIwMjUtMDgtMjciDQpvdXRwdXQ6DQogIGh0bWxfZG9jdW1lbnQ6DQogICAgdG9jOiBUUlVFICNUYWJsYSBkZSBjb250ZW5pZG9zDQogICAgdG9jX2Zsb2F0OiBUUlVFICNUYmxhIGRlIGFsZ28NCiAgICBjb2RlX2Rvd25sb2FkOiBUUlVFICNQb2RlciBkZXNjYXJnYXIgY8OzZGlnbw0KICAgIHRoZW1lOiBqb3VybmFsDQotLS0NCg0KIVtdKGh0dHBzOi8vbWlyby5tZWRpdW0uY29tLzEqRWhBa2tsNkVwU1lEYWszZE1FaE9GUS5naWYpDQoNCiMgPHNwYW4gc3R5bGU9ImNvbG9yOiBibHVlOyI+IFRlb3LDrWEgPC9zcGFuPg0KRWwgKkJvc3F1ZSBBbGVhdG9yaW8qIGVzIHVuIGFsZ29yaXRtbyBkZSBhcHJlbmRpemFqZSBhdXRvbcOhdGljbyBxdWUgY29tYmluYSBlbCByZXN1bHRhZG8gZGUgbcO6bHRpcGxlcyDDoXJib2xlcyBkZSBkZWNpc2nDs24gcGFyYSBsbGVnYXIgYSB1biByZXN1bHRhZG8gw7N0aW1vLg0KDQoqRXMgdmFyaWFibGUgY2F0ZWfDs3JpY2EqDQoNCiMgPHNwYW4gc3R5bGU9ImNvbG9yOiBibHVlOyI+IEVqZW1wbG8gMS4gTWVsYm91cm5lIDwvc3Bhbj4NCkVuIGVzdGEgYmFzZSBkZSBkYXRvcyB0ZW5lbW9zIGxvcyBwcmVjaW9zIGRlIG3DoXMgZGUgMTMsMDAwIGNhc2FzIGRlIGxhIGNpdWRhZCBkZSBNZWxib3VybmU6DQoNCiMiIDxzcGFuIHN0eWxlPSJjb2xvcjogYmx1ZTsiPiBJbnN0YWxhciBwYXF1ZXRlcyB5IGxsYW1hciBsaWJyZXLDrWFzIDwvc3Bhbj4NCg0KYGBge3IgbWVzc2FnZT1GQUxTRSwgd2FybmluZz1GQUxTRX0NCiNpbnN0YWxsLnBhY2thZ2VzKCJ0aWR5dmVyc2UiKQ0KbGlicmFyeSh0aWR5dmVyc2UpDQojaW5zdGFsbC5wYWNrYWdlcygicnBhcnQiKQ0KbGlicmFyeShycGFydCkNCiNpbnN0YWxsLnBhY2thZ2VzKCJycGFydC5wbG90IikNCmxpYnJhcnkocnBhcnQucGxvdCkNCiNpbnN0YWxsLnBhY2thZ2VzKCJyYW5kb21Gb3Jlc3QiKQ0KbGlicmFyeShyYW5kb21Gb3Jlc3QpDQojaW5zdGFsbC5wYWNrYWdlcygibW9kZWxyIikgI0NhbGN1bGFyIGVycm9yZXMNCmxpYnJhcnkobW9kZWxyKQ0KI2luc3RhbGwucGFja2FnZXMoImNhcmV0IikgI0NhbGN1bGFyIGVycm9yZXMNCmxpYnJhcnkoY2FyZXQpDQojaW5zdGFsbC5wYWNrYWdlcygicmFuZG9tRm9yZXN0IikNCmxpYnJhcnkocmFuZG9tRm9yZXN0KQ0KDQpgYGANCg0KIyMgPHNwYW4gc3R5bGU9ImNvbG9yOiBibHVlOyI+IExlZXIgYmFzZSBkZSBEYXRvcyA8L3NwYW4+DQpgYGB7cn0NCmRmPC0gcmVhZC5jc3YoIkM6XFxVc2Vyc1xcYXRlbmVcXERvd25sb2Fkc1xcUl9Db25jZW50cmFjaW9uXFxtZWxib3VybmUuY3N2IikNCmBgYA0KDQojIyA8c3BhbiBzdHlsZT0iY29sb3I6IGJsdWU7Ij4gRW50ZW5kZXIgbGEgYmFzZSBkZSBEYXRvcyA8L3NwYW4+DQpgYGB7cn0NCnN1bW1hcnkoZGYpDQpzdHIoZGYpDQpkZiA8LSBuYS5vbWl0KGRmKQ0KYGBgDQojIyA8c3BhbiBzdHlsZT0iY29sb3I6IGJsdWU7Ij4gw4FyYm9sIGRlIERlY2lzacOzbiA8L3NwYW4+DQpgYGB7cn0NCiNWYXJpYWJsZXMgbnVtw6lyaWNhcw0KYXJib2wgPC0gcnBhcnQoUHJpY2UgfiBSb29tcyArIERpc3RhbmNlICsgQmVkcm9vbTIgKyBCYXRocm9vbSArIENhciArIExhbmRzaXplICsgQnVpbGRpbmdBcmVhICsgWWVhckJ1aWx0ICtQcm9wZXJ0eWNvdW50LCBkYXRhID0gZGYpDQpwbG90KGFyYm9sLCB1bmlmb3JtID0gVFJVRSkNCnRleHQoYXJib2wsIGNleD0uNSkNCg0KcHJlZGljdChhcmJvbCxoZWFkKGRmKSkgI1ByZWRpY2Npw7NuDQpwcnVlYmFfYXJib2wgPC0gaGVhZChkZikNCg0KI0xhIG1hdHJpeiBkZSBjb25mdXNpw7NuIGRlbnRybyBkZSBjYXRlZ29yw61hcyBjdcOhbnRvIGxlIGFjZXJ0YXN0ZSBwZXJvIGVuIGVzdGUgY2FzbyBuby4NCiNNZWRpY2lvbmVzIGRlIGVycm9yDQoNCiNNQUU6IEVycm9yIGN1YWRyYWRvIHByb21lZGlvIChWZW50YWphOk1pc21hcyB1bmlkYWRlcykNCm1hZV9hcmJvbCA8LSBtYWUoYXJib2wsIHBydWViYV9hcmJvbCkNCmBgYA0KIyMgPHNwYW4gc3R5bGU9ImNvbG9yOiBibHVlOyI+IMOBcmJvbCBkZSBEZWNpc2nDs24gPC9zcGFuPg0KYGBge3J9DQpzZXQuc2VlZCgxMjMpDQpsaWJyYXJ5KGNhcmV0KQ0KcmVuZ2xvbmVzX2VudHJlbmFtaWVudG8gPC0gY3JlYXRlRGF0YVBhcnRpdGlvbihkZiRQcmljZSwgcD0wLjgsIGxpc3Q9RkFMU0UpDQplbnRyZW5hbWllbnRvIDwtIGRmWy1yZW5nbG9uZXNfZW50cmVuYW1pZW50byxdDQpwcnVlYmEgPC0gZGZbLXJlbmdsb25lc19lbnRyZW5hbWllbnRvLCBdDQpyZiA8LSByYW5kb21Gb3Jlc3QoUHJpY2UgfiBSb29tcyArIERpc3RhbmNlICsgQmVkcm9vbTIgKyBCYXRocm9vbSArQ2FyICsgTGFuZHNpemUgKyBCdWlsZGluZ0FyZWEgKyBZZWFyQnVpbHQgKyBQcm9wZXJ0eWNvdW50LCBkYXRhPWVudHJlbmFtaWVudG8sIG50cmVlPTUwMCwgbXRyeT0zLCBpbXBvcnRhbmNlPVRSVUUpDQoNCnJlc3VsdGFkb19lbnRyZW5hbWllbnRvIDwtIHByZWRpY3QocmYsZW50cmVuYW1pZW50bykNCnJlc3VsdGFkb19wcnVlYmEgPC0gcHJlZGljdChyZixwcnVlYmEpDQoNCm1hZV9yZiA8LSBtYWUocmYscHJ1ZWJhKQ0KDQpyZXN1bHRhZG9zIDwtIHRpYmJsZShNb2RlbG8gPSBjKCLDgXJib2wgZGUgZGVjaXNpw7NuIiwgIkJvc3F1ZSBBbGVhdG9yaW8iKSwgTUFFID0gYyhtYWVfYXJib2wsIG1hZV9yZikpDQpyZXN1bHRhZG9zDQoNCmBgYA0KDQoNCiMgPHNwYW4gc3R5bGU9ImNvbG9yOiBibHVlOyI+IEVqZW1wbG8gMi4gUmVuZGltaWVudG8gQXV0b21vdHJpeiA8L3NwYW4+DQoNCiMjIDxzcGFuIHN0eWxlPSJjb2xvcjogYmx1ZTsiPiBMZWVyIGJhc2UgZGUgRGF0b3MgPC9zcGFuPnJlbmRpbWllbnRvIGRlIGxvcyBjYXJyb3MgbXBnDQpgYGB7cn0NCmRmMjwtIG10Y2Fycw0KYGBgDQoNCiMjIDxzcGFuIHN0eWxlPSJjb2xvcjogYmx1ZTsiPiBFbnRlbmRlciBsYSBiYXNlIGRlIERhdG9zIDwvc3Bhbj4NCmBgYHtyfQ0Kc3VtbWFyeShkZjIpDQpzdHIoZGYyKQ0KZGYgPC0gbmEub21pdChkZjIpDQpgYGANCiMjIDxzcGFuIHN0eWxlPSJjb2xvcjogYmx1ZTsiPiDDgXJib2wgZGUgRGVjaXNpw7NuIDwvc3Bhbj4NCmBgYHtyfQ0KI1ZhcmlhYmxlcyBudW3DqXJpY2FzDQphcmJvbDIgPC0gcnBhcnQobXBnIH4gY3lsICsgZGlzcCArIGhwKyB3dCArIHFzZWMgKyBnZWFyICsgY2FyYiwgZGF0YSA9IGRmMikNCnJwYXJ0LnBsb3QoYXJib2wyLCB0eXBlPTIsIGV4dHJhPTEwMSkNCnRleHQoYXJib2wyLCBjZXg9LjMpDQoNCnByZWRpY3QoYXJib2wyLGhlYWQoZGYyKSkgI1ByZWRpY2Npw7NuDQpoZWFkKGRmMiRtcGcpDQpwcnVlYmFfYXJib2wyIDwtIGhlYWQoZGYyKQ0KDQojTGEgbWF0cml6IGRlIGNvbmZ1c2nDs24gZGVudHJvIGRlIGNhdGVnb3LDrWFzIGN1w6FudG8gbGUgYWNlcnRhc3RlIHBlcm8gZW4gZXN0ZSBjYXNvIG5vLg0KI01lZGljaW9uZXMgZGUgZXJyb3INCg0KI01BRTogRXJyb3IgY3VhZHJhZG8gcHJvbWVkaW8gKFZlbnRhamE6TWlzbWFzIHVuaWRhZGVzKQ0KbWFlX2FyYm9sMiA8LSBtYWUoYXJib2wyLCBwcnVlYmFfYXJib2wyKQ0KYGBgDQoNCmBgYHtyfQ0Kc2V0LnNlZWQoMTIzKQ0KbGlicmFyeShjYXJldCkNCnJlbmdsb25lc19lbnRyZW5hbWllbnRvMiA8LSBjcmVhdGVEYXRhUGFydGl0aW9uKGRmMiRtcGcsIHA9MC44LCBsaXN0PUZBTFNFKQ0KZW50cmVuYW1pZW50bzIgPC0gZGYyWy1yZW5nbG9uZXNfZW50cmVuYW1pZW50bzIsXQ0KcHJ1ZWJhMiA8LSBkZjJbLXJlbmdsb25lc19lbnRyZW5hbWllbnRvMiwgXQ0KcmYyIDwtIHJhbmRvbUZvcmVzdChtcGcgfiBjeWwgKyBkaXNwICsgaHAgKyB3dCArIHFzZWMgKyBnZWFyICsgY2FyYiwgZGF0YSA9IGVudHJlbmFtaWVudG8yLCBudHJlZT01MDAsIG10cnk9MywgaW1wb3J0YW5jZT1UUlVFKQ0KDQpyZXN1bHRhZG9fZW50cmVuYW1pZW50bzIgPC0gcHJlZGljdChyZjIsZW50cmVuYW1pZW50bzIpDQpyZXN1bHRhZG9fcHJ1ZWJhMiA8LSBwcmVkaWN0KHJmMixwcnVlYmEyKQ0KDQptYWVfcmYyIDwtIG1hZShyZjIscHJ1ZWJhMikNCg0KcmVzdWx0YWRvczIgPC0gdGliYmxlKE1vZGVsbyA9IGMoIsOBcmJvbCBkZSBkZWNpc2nDs24iLCAiQm9zcXVlIEFsZWF0b3JpbyIpLCBNQUUgPSBjKG1hZV9hcmJvbDIsIG1hZV9yZjIpKQ0KcmVzdWx0YWRvczINCg0KYGBgDQoNCg0K