Random Forest

Teoría

Random Forest Es un algoritmo de aprendizaje automático supervisado que se usa para clasificar y/o hacer regresiones. Se basa en la creacion de multiples arboles de decisión y combina sus resultados para hacer predicciones más precisas y estables.

Instalar Paquetes y Llamar Librerias

library(randomForest)
library(caret)
library(dplyr)

Importar Base de Datos

df <- read.csv("C:\\Users\\USUARIO\\Desktop\\Bloque - Modulo 2\\House Prices.csv")
df <- na.omit(df)
if ("Id" %in% colnames(df)) {
  df <- select(df, -Id)
}

Entender la base de datos

summary(df)

##    MSSubClass      MSZoning            LotArea        LotConfig        
##  Min.   : 20.0   Length:1460        Min.   :  1300   Length:1460       
##  1st Qu.: 20.0   Class :character   1st Qu.:  7554   Class :character  
##  Median : 50.0   Mode  :character   Median :  9478   Mode  :character  
##  Mean   : 56.9                      Mean   : 10517                     
##  3rd Qu.: 70.0                      3rd Qu.: 11602                     
##  Max.   :190.0                      Max.   :215245                     
##    BldgType          OverallCond      YearBuilt     YearRemodAdd 
##  Length:1460        Min.   :1.000   Min.   :1872   Min.   :1950  
##  Class :character   1st Qu.:5.000   1st Qu.:1954   1st Qu.:1967  
##  Mode  :character   Median :5.000   Median :1973   Median :1994  
##                     Mean   :5.575   Mean   :1971   Mean   :1985  
##                     3rd Qu.:6.000   3rd Qu.:2000   3rd Qu.:2004  
##                     Max.   :9.000   Max.   :2010   Max.   :2010  
##  Exterior1st          BsmtFinSF2       TotalBsmtSF       SalePrice     
##  Length:1460        Min.   :   0.00   Min.   :   0.0   Min.   : 34900  
##  Class :character   1st Qu.:   0.00   1st Qu.: 795.8   1st Qu.:129975  
##  Mode  :character   Median :   0.00   Median : 991.5   Median :163000  
##                     Mean   :  46.55   Mean   :1057.4   Mean   :180921  
##                     3rd Qu.:   0.00   3rd Qu.:1298.2   3rd Qu.:214000  
##                     Max.   :1474.00   Max.   :6110.0   Max.   :755000

head(df)

##   MSSubClass MSZoning LotArea LotConfig BldgType OverallCond YearBuilt
## 1         60       RL    8450    Inside     1Fam           5      2003
## 2         20       RL    9600       FR2     1Fam           8      1976
## 3         60       RL   11250    Inside     1Fam           5      2001
## 4         70       RL    9550    Corner     1Fam           5      1915
## 5         60       RL   14260       FR2     1Fam           5      2000
## 6         50       RL   14115    Inside     1Fam           5      1993
##   YearRemodAdd Exterior1st BsmtFinSF2 TotalBsmtSF SalePrice
## 1         2003     VinylSd          0         856    208500
## 2         1976     MetalSd          0        1262    181500
## 3         2002     VinylSd          0         920    223500
## 4         1970     Wd Sdng          0         756    140000
## 5         2000     VinylSd          0        1145    250000
## 6         1995     VinylSd          0         796    143000

str(df)

## 'data.frame':    1460 obs. of  12 variables:
##  $ MSSubClass  : int  60 20 60 70 60 50 20 60 50 190 ...
##  $ MSZoning    : chr  "RL" "RL" "RL" "RL" ...
##  $ LotArea     : int  8450 9600 11250 9550 14260 14115 10084 10382 6120 7420 ...
##  $ LotConfig   : chr  "Inside" "FR2" "Inside" "Corner" ...
##  $ BldgType    : chr  "1Fam" "1Fam" "1Fam" "1Fam" ...
##  $ OverallCond : int  5 8 5 5 5 5 5 6 5 6 ...
##  $ YearBuilt   : int  2003 1976 2001 1915 2000 1993 2004 1973 1931 1939 ...
##  $ YearRemodAdd: int  2003 1976 2002 1970 2000 1995 2005 1973 1950 1950 ...
##  $ Exterior1st : chr  "VinylSd" "MetalSd" "VinylSd" "Wd Sdng" ...
##  $ BsmtFinSF2  : int  0 0 0 0 0 0 0 32 0 0 ...
##  $ TotalBsmtSF : int  856 1262 920 756 1145 796 1686 1107 952 991 ...
##  $ SalePrice   : int  208500 181500 223500 140000 250000 143000 307000 200000 129900 118000 ...
##  - attr(*, "na.action")= 'omit' Named int [1:1459] 1461 1462 1463 1464 1465 1466 1467 1468 1469 1470 ...
##   ..- attr(*, "names")= chr [1:1459] "1461" "1462" "1463" "1464" ...

df$MSZoning <- as.factor(df$MSZoning)
df$LotConfig <- as.factor(df$LotConfig)
df$BldgType <- as.factor(df$BldgType)
df$Exterior1st <- as.factor(df$Exterior1st)
df$SalePrice <- as.factor(df$SalePrice)
str(df)

## 'data.frame':    1460 obs. of  12 variables:
##  $ MSSubClass  : int  60 20 60 70 60 50 20 60 50 190 ...
##  $ MSZoning    : Factor w/ 5 levels "C (all)","FV",..: 4 4 4 4 4 4 4 4 5 4 ...
##  $ LotArea     : int  8450 9600 11250 9550 14260 14115 10084 10382 6120 7420 ...
##  $ LotConfig   : Factor w/ 5 levels "Corner","CulDSac",..: 5 3 5 1 3 5 5 1 5 1 ...
##  $ BldgType    : Factor w/ 5 levels "1Fam","2fmCon",..: 1 1 1 1 1 1 1 1 1 2 ...
##  $ OverallCond : int  5 8 5 5 5 5 5 6 5 6 ...
##  $ YearBuilt   : int  2003 1976 2001 1915 2000 1993 2004 1973 1931 1939 ...
##  $ YearRemodAdd: int  2003 1976 2002 1970 2000 1995 2005 1973 1950 1950 ...
##  $ Exterior1st : Factor w/ 15 levels "AsbShng","AsphShn",..: 13 9 13 14 13 13 13 7 4 9 ...
##  $ BsmtFinSF2  : int  0 0 0 0 0 0 0 32 0 0 ...
##  $ TotalBsmtSF : int  856 1262 920 756 1145 796 1686 1107 952 991 ...
##  $ SalePrice   : Factor w/ 663 levels "34900","35311",..: 413 340 443 195 495 204 574 391 152 114 ...
##  - attr(*, "na.action")= 'omit' Named int [1:1459] 1461 1462 1463 1464 1465 1466 1467 1468 1469 1470 ...
##   ..- attr(*, "names")= chr [1:1459] "1461" "1462" "1463" "1464" ...

Entrenar el Modelo

set.seed(123)

# Dividir en entrenamiento (70%) y prueba (30%)
renglones_entrenamiento <- createDataPartition(df$SalePrice, p = 0.7, list = FALSE)
entrenamiento <- df[renglones_entrenamiento, ]
prueba <- df[-renglones_entrenamiento, ]

# Entrenar modelo Random Forest
modelo <- randomForest(SalePrice ~ ., data = entrenamiento, ntree = 100)

# Mostrar importancia de variables
varImpPlot(modelo)

Evaluar El Modelo

# Predicción en datos de entrenamiento
evaluacion_entrenamiento <- predict(modelo, entrenamiento)

# Predicción en datos de prueba
evaluacion_prueba <- predict(modelo, prueba)

# Calcular error medio absoluto (MAE) y error cuadrático medio (RMSE)
mae_entrenamiento <- mean(abs(evaluacion_entrenamiento - entrenamiento$SalePrice))

## Warning in Ops.factor(evaluacion_entrenamiento, entrenamiento$SalePrice): '-'
## no es significativo para factores

rmse_entrenamiento <- sqrt(mean((evaluacion_entrenamiento - entrenamiento$SalePrice)^2))

## Warning in Ops.factor(evaluacion_entrenamiento, entrenamiento$SalePrice): '-'
## no es significativo para factores

mae_prueba <- mean(abs(evaluacion_prueba - prueba$SalePrice))

## Warning in Ops.factor(evaluacion_prueba, prueba$SalePrice): '-' no es
## significativo para factores

rmse_prueba <- sqrt(mean((evaluacion_prueba - prueba$SalePrice)^2))

## Warning in Ops.factor(evaluacion_prueba, prueba$SalePrice): '-' no es
## significativo para factores

# Mostrar métricas de evaluación
cat("MAE Entrenamiento:", mae_entrenamiento, "\n")

## MAE Entrenamiento: NA

cat("RMSE Entrenamiento:", rmse_entrenamiento, "\n")

## RMSE Entrenamiento: NA

cat("MAE Prueba:", mae_prueba, "\n")

## MAE Prueba: NA

cat("RMSE Prueba:", rmse_prueba, "\n")

## RMSE Prueba: NA

Matriz de Confusión

# Asegurar que SalePrice y evaluacion_prueba sean numéricos
prueba$SalePrice <- as.numeric(as.character(prueba$SalePrice))
evaluacion_prueba <- as.numeric(evaluacion_prueba)

# Cargar librería para métricas
library(Metrics)

## 
## Adjuntando el paquete: 'Metrics'

## The following objects are masked from 'package:caret':
## 
##     precision, recall

# Calcular métricas de error
mae_prueba <- mae(prueba$SalePrice, evaluacion_prueba)  # Error medio absoluto
rmse_prueba <- rmse(prueba$SalePrice, evaluacion_prueba)  # Error cuadrático medio
r2_prueba <- cor(prueba$SalePrice, evaluacion_prueba)^2  # R²

# Mostrar resultados
cat("MAE Prueba:", mae_prueba, "\n")

## MAE Prueba: 159401.6

cat("RMSE Prueba:", rmse_prueba, "\n")

## RMSE Prueba: 165570.2

cat("R² Prueba:", r2_prueba, "\n")

## R² Prueba: 0.5365039

Generar Predicciones

prediccion <- predict(modelo, prueba)

# Agregar predicciones al conjunto de prueba
prueba <- prueba %>%
  mutate(PredictedPrice = prediccion)

# Mostrar primeras filas con predicciones
head(prueba)

##    MSSubClass MSZoning LotArea LotConfig BldgType OverallCond YearBuilt
## 4          70       RL    9550    Corner     1Fam           5      1915
## 23         20       RL    9742    Inside     1Fam           5      2002
## 29         20       RL   16321   CulDSac     1Fam           6      1957
## 33         20       RL   11049    Corner     1Fam           5      2007
## 41         20       RL    8658    Inside     1Fam           5      1965
## 42         20       RL   16905    Inside     1Fam           6      1959
##    YearRemodAdd Exterior1st BsmtFinSF2 TotalBsmtSF SalePrice PredictedPrice
## 4          1970     Wd Sdng          0         756    140000         105000
## 23         2002     VinylSd          0        1777    230000         227000
## 29         1997     MetalSd          0        1484    207500         200500
## 33         2007     VinylSd          0        1234    179900         200141
## 41         1965     Wd Sdng          0        1088    160000         139000
## 42         1959     VinylSd          0        1350    170000         135000