Árbol de decisión con variable continua
Irving Tolosa
2024
Paso 1: Preparación del entorno
Instala y carga los paquetes necesarios
#install.packages("MASS") #descomentar para instalar o instalar desde paquetes
library(rpart)
library(rpart.plot)
library(caret)## Cargando paquete requerido: ggplot2## Cargando paquete requerido: latticelibrary(MASS)Paso 2: Cargar y explorar datos
En esta práctica, utilizaremos el conjunto de datos Boston del paquete MASS, que predice el valor medio de las viviendas en función de varias características.La descripcíón de la base de datos puedes consultarla en: http://www.cs.toronto.edu/~delve/data/boston/bostonDetail.html
# Cargar el dataset mtcars
datos <- Boston
# Mostrar las primeras filas del dataset
head(datos)## crim zn indus chas nox rm age dis rad tax ptratio black lstat
## 1 0.00632 18 2.31 0 0.538 6.575 65.2 4.0900 1 296 15.3 396.90 4.98
## 2 0.02731 0 7.07 0 0.469 6.421 78.9 4.9671 2 242 17.8 396.90 9.14
## 3 0.02729 0 7.07 0 0.469 7.185 61.1 4.9671 2 242 17.8 392.83 4.03
## 4 0.03237 0 2.18 0 0.458 6.998 45.8 6.0622 3 222 18.7 394.63 2.94
## 5 0.06905 0 2.18 0 0.458 7.147 54.2 6.0622 3 222 18.7 396.90 5.33
## 6 0.02985 0 2.18 0 0.458 6.430 58.7 6.0622 3 222 18.7 394.12 5.21
## medv
## 1 24.0
## 2 21.6
## 3 34.7
## 4 33.4
## 5 36.2
## 6 28.7Exploramos los datos
summary(datos)## crim zn indus chas
## Min. : 0.00632 Min. : 0.00 Min. : 0.46 Min. :0.00000
## 1st Qu.: 0.08205 1st Qu.: 0.00 1st Qu.: 5.19 1st Qu.:0.00000
## Median : 0.25651 Median : 0.00 Median : 9.69 Median :0.00000
## Mean : 3.61352 Mean : 11.36 Mean :11.14 Mean :0.06917
## 3rd Qu.: 3.67708 3rd Qu.: 12.50 3rd Qu.:18.10 3rd Qu.:0.00000
## Max. :88.97620 Max. :100.00 Max. :27.74 Max. :1.00000
## nox rm age dis
## Min. :0.3850 Min. :3.561 Min. : 2.90 Min. : 1.130
## 1st Qu.:0.4490 1st Qu.:5.886 1st Qu.: 45.02 1st Qu.: 2.100
## Median :0.5380 Median :6.208 Median : 77.50 Median : 3.207
## Mean :0.5547 Mean :6.285 Mean : 68.57 Mean : 3.795
## 3rd Qu.:0.6240 3rd Qu.:6.623 3rd Qu.: 94.08 3rd Qu.: 5.188
## Max. :0.8710 Max. :8.780 Max. :100.00 Max. :12.127
## rad tax ptratio black
## Min. : 1.000 Min. :187.0 Min. :12.60 Min. : 0.32
## 1st Qu.: 4.000 1st Qu.:279.0 1st Qu.:17.40 1st Qu.:375.38
## Median : 5.000 Median :330.0 Median :19.05 Median :391.44
## Mean : 9.549 Mean :408.2 Mean :18.46 Mean :356.67
## 3rd Qu.:24.000 3rd Qu.:666.0 3rd Qu.:20.20 3rd Qu.:396.23
## Max. :24.000 Max. :711.0 Max. :22.00 Max. :396.90
## lstat medv
## Min. : 1.73 Min. : 5.00
## 1st Qu.: 6.95 1st Qu.:17.02
## Median :11.36 Median :21.20
## Mean :12.65 Mean :22.53
## 3rd Qu.:16.95 3rd Qu.:25.00
## Max. :37.97 Max. :50.00str(datos)## 'data.frame': 506 obs. of 14 variables:
## $ crim : num 0.00632 0.02731 0.02729 0.03237 0.06905 ...
## $ zn : num 18 0 0 0 0 0 12.5 12.5 12.5 12.5 ...
## $ indus : num 2.31 7.07 7.07 2.18 2.18 2.18 7.87 7.87 7.87 7.87 ...
## $ chas : int 0 0 0 0 0 0 0 0 0 0 ...
## $ nox : num 0.538 0.469 0.469 0.458 0.458 0.458 0.524 0.524 0.524 0.524 ...
## $ rm : num 6.58 6.42 7.18 7 7.15 ...
## $ age : num 65.2 78.9 61.1 45.8 54.2 58.7 66.6 96.1 100 85.9 ...
## $ dis : num 4.09 4.97 4.97 6.06 6.06 ...
## $ rad : int 1 2 2 3 3 3 5 5 5 5 ...
## $ tax : num 296 242 242 222 222 222 311 311 311 311 ...
## $ ptratio: num 15.3 17.8 17.8 18.7 18.7 18.7 15.2 15.2 15.2 15.2 ...
## $ black : num 397 397 393 395 397 ...
## $ lstat : num 4.98 9.14 4.03 2.94 5.33 ...
## $ medv : num 24 21.6 34.7 33.4 36.2 28.7 22.9 27.1 16.5 18.9 ...Paso 3: Segmentar los datos
Dividiremos los datos en un 70% para entrenamiento y un 30% para prueba.
set.seed(123) # Fijar semilla para reproducibilidad
indice <- createDataPartition(datos$medv, p = 0.7, list = FALSE)
entrenamiento <- datos[indice, ]
prueba <- datos[-indice, ]Paso 4: Entrenar el árbol de decisión
Utilizaremos el modelo de árbol de decisión para predecir la variable continua del costo.
# Entrenar el modelo de regresión
modelo_arbol <- rpart(medv ~ ., data = entrenamiento, method = "anova")
# Visualizar el árbol de decisión
rpart.plot(modelo_arbol)
Paso 5: Evaluar el rendimiento del modelo
Realizaremos predicciones y calcularemos el error con el conjunto de prueba.
# Realizar predicciones
predicciones <- predict(modelo_arbol, prueba)
# Calcular MAE y MSE
mae <- mean(abs(predicciones - prueba$medv))
mse <- mean((predicciones - prueba$medv)^2)
# Imprimir los resultados
cat("Error absoluto medio (MAE):", mae, "
")## Error absoluto medio (MAE): 3.499389cat("Error cuadrático medio (MSE):", mse, "
")## Error cuadrático medio (MSE): 31.00806Paso 6 Podar el árbol de decisión
Podamos el árbol para optimizar su rendimiento.
# Evaluar la complejidad del árbol
printcp(modelo_arbol)##
## Regression tree:
## rpart(formula = medv ~ ., data = entrenamiento, method = "anova")
##
## Variables actually used in tree construction:
## [1] lstat nox ptratio rm
##
## Root node error: 28877/356 = 81.115
##
## n= 356
##
## CP nsplit rel error xerror xstd
## 1 0.462980 0 1.00000 1.00335 0.097781
## 2 0.165305 1 0.53702 0.71078 0.074466
## 3 0.080161 2 0.37171 0.52042 0.061138
## 4 0.034497 3 0.29155 0.38648 0.054263
## 5 0.027794 4 0.25706 0.36181 0.052094
## 6 0.021800 5 0.22926 0.33327 0.048749
## 7 0.011952 6 0.20746 0.31856 0.048561
## 8 0.011358 7 0.19551 0.31018 0.048737
## 9 0.010000 8 0.18415 0.31168 0.049371# Podar el árbol
modelo_podado <- prune(modelo_arbol, cp = 0.02) # Ajustar el valor de cp
# Visualizar el árbol podado
rpart.plot(modelo_podado)
## Paso 7: Evaluar el árbol podado
# Realizar predicciones con el árbol podado
predicciones_podadas <- predict(modelo_podado, prueba)
# Calcular MAE y MSE para el árbol podado
mae_podado <- mean(abs(predicciones_podadas - prueba$medv))
mse_podado <- mean((predicciones_podadas - prueba$medv)^2)
# Imprimir los resultados
cat("Error absoluto medio (MAE) - Árbol podado:", mae_podado, "
")## Error absoluto medio (MAE) - Árbol podado: 3.54737cat("Error cuadrático medio (MSE) - Árbol podado:", mse_podado, "
")## Error cuadrático medio (MSE) - Árbol podado: 31.11531Conclusión
Compara los errores antes y después de la poda para verificar si el árbol podado tiene mejor equilibrio entre simplicidad y precisión.
Predicción
# Crear un nuevo dataframe con los valores de predicción manual
nuevo_dato <- data.frame(
crim = 0.1, #crim (tasa de crimen per cápita): 0.1
zn = 25, #zn (proporción de terrenos residenciales): 25
indus = 5, # indus (proporción de hectáreas comerciales no minoristas): 5
chas = 0, #chas (variable binaria si está cerca del río Charles): 0
nox = 0.5, #nox (concentración de óxidos nítricos): 0.5
rm = 6, # rm (número promedio de habitaciones por vivienda): 6
age = 50, #age (proporción de casas construidas antes de 1940): 50
dis = 4, #dis (distancia a centros de empleo): 4
rad = 4, #rad (índice de accesibilidad radial a autopistas): 4
tax = 300, # tax (tasa de impuesto a la propiedad): 300
ptratio = 15, #ptratio (relación alumno-profesor): 15
black = 300, #black (proporción de personas de raza negra): 300
lstat = 10 #lstat (porcentaje de población de bajos ingresos): 10
)
# Mostrar el nuevo dataframe
print(nuevo_dato)## crim zn indus chas nox rm age dis rad tax ptratio black lstat
## 1 0.1 25 5 0 0.5 6 50 4 4 300 15 300 10# Realizar la predicción con el árbol entrenado
prediccion_manual <- predict(modelo_arbol, nuevo_dato)
# Mostrar el resultado de la predicción
cat("Predicción del valor medio de la vivienda (medv):", prediccion_manual, "\n")## Predicción del valor medio de la vivienda (medv): 21.90741