1 Objetivo

Construir y evaluar un modelo de árbol de regresión para realizar predicciones y comparar resultados con el modelo de regresión lineal múltiple

2 Descripción

  • Se cargan las librerías necesarias

  • Se cargan los datos Se exploran los datos

  • Se crear los datos de entrenamiento y validación 70% y 30% respectivamente

Las métricas a valorar serán:

  • Que los coeficientes sean estadísticamente significativos por encima del 95%.

  • R Squared Ajustado el modelo se acepta si sobrepasa en el 80%

  • rmse comparado con otro modelo mismos datos se acepta o se establece que un modelo es mejor que otro.

  • Comparaciones con el modelo de regresión lineak múltiple

3 Marco teórico

Los algoritmos de aprendizaje basados en árbol se consideran uno de los mejores y más utilizados métodos de aprendizaje supervisado. Potencian modelos predictivos con alta precisión, estabilidad y facilidad de interpretación.

Los árboles de clasificación y regresión son métodos que proporcionan modelos que satisfacen objetivos tanto predictivos como explicativos.

Dos de los puntos fuertes de este método son, por un lado, la sencilla representación gráfica mediante árboles y, por otro, el formato compacto de las reglas de lenguaje natural.

Se distinguen dos casos en que estas técnicas de modelado deben utilizarse: - Utilizar árboles de clasificación para explicar y predecir la pertenencia de los objetos (observaciones, individuos) a una clase, sobre la base de variables explicativas cuantitativas y cualitativas.

Utilizar un árbol de regresión para crear un modelo explicativo y predictivo para una variable cuantitativa dependiente basada en variables explicativas independientes cuantitativas y cualitativas.

4 Desarrollo

4.1 Cargar librerías

library(readr) # Para importar datos
library(dplyr) # Para filtrar   
library(knitr) # Para datos tabulares
library(ggplot2) # Para visualizar
library(plotly)
library(caret)  # Para particionar
library(Metrics) # Para determinar rmse
library(rpart) # Para árbol
library(rpart.plot) # Para árbol

4.2 Cargar datos

datos <- read.csv("https://raw.githubusercontent.com/rpizarrog/Analisis-Inteligente-de-datos/main/datos/Advertising.csv")

4.3 Explorando los datos

summary(datos)
##        X                TV             Radio          Newspaper     
##  Min.   :  1.00   Min.   :  0.70   Min.   : 0.000   Min.   :  0.30  
##  1st Qu.: 50.75   1st Qu.: 74.38   1st Qu.: 9.975   1st Qu.: 12.75  
##  Median :100.50   Median :149.75   Median :22.900   Median : 25.75  
##  Mean   :100.50   Mean   :147.04   Mean   :23.264   Mean   : 30.55  
##  3rd Qu.:150.25   3rd Qu.:218.82   3rd Qu.:36.525   3rd Qu.: 45.10  
##  Max.   :200.00   Max.   :296.40   Max.   :49.600   Max.   :114.00  
##      Sales      
##  Min.   : 1.60  
##  1st Qu.:10.38  
##  Median :12.90  
##  Mean   :14.02  
##  3rd Qu.:17.40  
##  Max.   :27.00
str(datos)
## 'data.frame':    200 obs. of  5 variables:
##  $ X        : int  1 2 3 4 5 6 7 8 9 10 ...
##  $ TV       : num  230.1 44.5 17.2 151.5 180.8 ...
##  $ Radio    : num  37.8 39.3 45.9 41.3 10.8 48.9 32.8 19.6 2.1 2.6 ...
##  $ Newspaper: num  69.2 45.1 69.3 58.5 58.4 75 23.5 11.6 1 21.2 ...
##  $ Sales    : num  22.1 10.4 9.3 18.5 12.9 7.2 11.8 13.2 4.8 10.6 ...

Son 200 registros tres variables independientes y una variable dependiente.

La variable dependiente o variable objetivo es Sales que deberá estar en función de la inversión que se hace en TV, Radio o Newspaper.

4.4 Limpiar datos

Quitar la variable x que no es de interés

datos <- datos %>%
  select (TV, Radio, Newspaper, Sales)

4.4.1 head(datos)

kable(head(datos, 20), caption = "Primeros 20 registros")
Primeros 20 registros
TV Radio Newspaper Sales
230.1 37.8 69.2 22.1
44.5 39.3 45.1 10.4
17.2 45.9 69.3 9.3
151.5 41.3 58.5 18.5
180.8 10.8 58.4 12.9
8.7 48.9 75.0 7.2
57.5 32.8 23.5 11.8
120.2 19.6 11.6 13.2
8.6 2.1 1.0 4.8
199.8 2.6 21.2 10.6
66.1 5.8 24.2 8.6
214.7 24.0 4.0 17.4
23.8 35.1 65.9 9.2
97.5 7.6 7.2 9.7
204.1 32.9 46.0 19.0
195.4 47.7 52.9 22.4
67.8 36.6 114.0 12.5
281.4 39.6 55.8 24.4
69.2 20.5 18.3 11.3
147.3 23.9 19.1 14.6

4.4.2 tail(datos)

kable(tail(datos, 20), caption = "Últimos 20 registros")
Últimos 20 registros
TV Radio Newspaper Sales
181 156.6 2.6 8.3 10.5
182 218.5 5.4 27.4 12.2
183 56.2 5.7 29.7 8.7
184 287.6 43.0 71.8 26.2
185 253.8 21.3 30.0 17.6
186 205.0 45.1 19.6 22.6
187 139.5 2.1 26.6 10.3
188 191.1 28.7 18.2 17.3
189 286.0 13.9 3.7 15.9
190 18.7 12.1 23.4 6.7
191 39.5 41.1 5.8 10.8
192 75.5 10.8 6.0 9.9
193 17.2 4.1 31.6 5.9
194 166.8 42.0 3.6 19.6
195 149.7 35.6 6.0 17.3
196 38.2 3.7 13.8 7.6
197 94.2 4.9 8.1 9.7
198 177.0 9.3 6.4 12.8
199 283.6 42.0 66.2 25.5
200 232.1 8.6 8.7 13.4

4.5 Datos de entrenamiento y validación

4.5.1 Datos de entrenamiento

n <- nrow(datos)
# Modificar la semilla estableciendo como parámetro los útimos cuatro dígitos de su no de control. 
# Ej. set.seed(0732), o set.seed(1023)
# set.seed(2022) 
set.seed(0435)

De manera aleatoria se construyen los datos de entrenamiento y los datos de validación.

En la variable entrena se generan los registros que van a ser los datos de entrenamiento, de tal forma que los datos de validación serán los que no sena de entrenamiento [-entrena].

entrena <- createDataPartition(y = datos$Sales, p = 0.70, list = FALSE, times = 1)
# Datos entrenamiento
datos.entrenamiento <- datos[entrena, ]  # [renglones, columna]
# Datos validación
datos.validacion <- datos[-entrena, ]

4.5.1.2 tail()

kable(tail(datos.entrenamiento, 20), caption = "Datos de entrenamiento ültimos 20 registros")
Datos de entrenamiento ültimos 20 registros
TV Radio Newspaper Sales
163 188.4 18.1 25.6 14.9
165 117.2 14.7 5.4 11.9
166 234.5 3.4 84.8 11.9
168 206.8 5.2 19.4 12.2
170 284.3 10.6 6.4 15.0
171 50.0 11.6 18.4 8.4
172 164.5 20.9 47.4 14.5
173 19.6 20.1 17.0 7.6
174 168.4 7.1 12.8 11.7
175 222.4 3.4 13.1 11.5
176 276.9 48.9 41.8 27.0
179 276.7 2.3 23.7 11.8
181 156.6 2.6 8.3 10.5
182 218.5 5.4 27.4 12.2
183 56.2 5.7 29.7 8.7
186 205.0 45.1 19.6 22.6
187 139.5 2.1 26.6 10.3
188 191.1 28.7 18.2 17.3
189 286.0 13.9 3.7 15.9
191 39.5 41.1 5.8 10.8

4.5.2 Datos de validación

Los datos de validación deben ser diferentes a los datos den entrenamiento.

4.5.2.1 head()

kable(head(datos.validacion, 20), caption = "Datos de Validación Primeros 20 registros")
Datos de Validación Primeros 20 registros
TV Radio Newspaper Sales
4 151.5 41.3 58.5 18.5
5 180.8 10.8 58.4 12.9
8 120.2 19.6 11.6 13.2
10 199.8 2.6 21.2 10.6
16 195.4 47.7 52.9 22.4
23 13.2 15.9 49.6 5.6
26 262.9 3.5 19.5 12.0
28 240.1 16.7 22.9 15.9
30 70.6 16.0 40.8 10.5
31 292.9 28.3 43.2 21.4
37 266.9 43.8 5.0 25.4
38 74.7 49.4 45.7 14.7
45 25.1 25.7 43.3 8.5
46 175.1 22.5 31.5 14.9
47 89.7 9.9 35.7 10.6
52 100.4 9.6 3.6 10.7
58 136.2 19.2 16.6 13.2
59 210.8 49.6 37.7 23.8
61 53.5 2.0 21.4 8.1
63 239.3 15.5 27.3 15.7

4.5.2.2 tail()

kable(tail(datos.validacion, 20), caption = "Datos de validació últimos 20 registros")
Datos de validació últimos 20 registros
TV Radio Newspaper Sales
153 197.6 23.3 14.2 16.6
157 93.9 43.5 50.5 15.3
164 163.5 36.8 7.4 18.0
167 17.9 37.6 21.6 8.0
169 215.4 23.6 57.6 17.1
177 248.4 30.2 20.3 20.2
178 170.2 7.8 35.2 11.7
180 165.6 10.0 17.6 12.6
184 287.6 43.0 71.8 26.2
185 253.8 21.3 30.0 17.6
190 18.7 12.1 23.4 6.7
192 75.5 10.8 6.0 9.9
193 17.2 4.1 31.6 5.9
194 166.8 42.0 3.6 19.6
195 149.7 35.6 6.0 17.3
196 38.2 3.7 13.8 7.6
197 94.2 4.9 8.1 9.7
198 177.0 9.3 6.4 12.8
199 283.6 42.0 66.2 25.5
200 232.1 8.6 8.7 13.4

4.6 Construir el modelo

Se construye el modelo con la función rpart

modelo_ar <- rpart(data = datos.entrenamiento,formula = Sales ~ TV + Radio + Newspaper )
modelo_ar
## n= 142 
## 
## node), split, n, deviance, yval
##       * denotes terminal node
## 
##  1) root 142 3714.05400 14.089440  
##    2) TV< 159.95 73  722.12680 10.617810  
##      4) TV< 33.3 19   52.40737  6.947368 *
##      5) TV>=33.3 54  323.68540 11.909260  
##       10) Radio< 14.15 22   18.49818  9.909091 *
##       11) Radio>=14.15 32  156.66220 13.284370  
##         22) TV< 118.85 21   42.50952 12.238100 *
##         23) TV>=118.85 11   47.27636 15.281820 *
##    3) TV>=159.95 69 1181.30200 17.762320  
##      6) Radio< 25.75 33  111.94060 14.124240  
##       12) Radio< 9.25 14    4.08000 12.200000 *
##       13) Radio>=9.25 19   17.82632 15.542110 *
##      7) Radio>=25.75 36  232.20970 21.097220  
##       14) Radio< 35.85 18   25.88500 19.116670 *
##       15) Radio>=35.85 18   65.11111 23.077780 *

4.6.1 resumen del modelo

summary(modelo_ar)
## Call:
## rpart(formula = Sales ~ TV + Radio + Newspaper, data = datos.entrenamiento)
##   n= 142 
## 
##           CP nsplit  rel error    xerror       xstd
## 1 0.48750643      0 1.00000000 1.0204210 0.10465618
## 2 0.22540105      1 0.51249357 0.6218575 0.05779354
## 3 0.09316884      2 0.28709252 0.3217599 0.03795779
## 4 0.03998999      3 0.19392368 0.2379946 0.02799123
## 5 0.03802142      4 0.15393369 0.2138584 0.02492808
## 6 0.02424151      5 0.11591227 0.1807284 0.01872265
## 7 0.01800628      6 0.09167076 0.1308841 0.01736915
## 8 0.01000000      7 0.07366448 0.1102109 0.01495067
## 
## Variable importance
##        TV     Radio Newspaper 
##        52        32        16 
## 
## Node number 1: 142 observations,    complexity param=0.4875064
##   mean=14.08944, MSE=26.15531 
##   left son=2 (73 obs) right son=3 (69 obs)
##   Primary splits:
##       TV        < 159.95 to the left,  improve=0.4875064, (0 missing)
##       Radio     < 20.55  to the left,  improve=0.2674519, (0 missing)
##       Newspaper < 36.95  to the left,  improve=0.1137099, (0 missing)
##   Surrogate splits:
##       Radio     < 15.05  to the left,  agree=0.585, adj=0.145, (0 split)
##       Newspaper < 36.85  to the left,  agree=0.585, adj=0.145, (0 split)
## 
## Node number 2: 73 observations,    complexity param=0.09316884
##   mean=10.61781, MSE=9.892149 
##   left son=4 (19 obs) right son=5 (54 obs)
##   Primary splits:
##       TV        < 33.3   to the left,  improve=0.47918740, (0 missing)
##       Radio     < 13.3   to the left,  improve=0.16836210, (0 missing)
##       Newspaper < 45.55  to the left,  improve=0.09393593, (0 missing)
##   Surrogate splits:
##       Newspaper < 3.75   to the left,  agree=0.767, adj=0.105, (0 split)
## 
## Node number 3: 69 observations,    complexity param=0.225401
##   mean=17.76232, MSE=17.12032 
##   left son=6 (33 obs) right son=7 (36 obs)
##   Primary splits:
##       Radio     < 25.75  to the left,  improve=0.70866860, (0 missing)
##       Newspaper < 37.35  to the left,  improve=0.18842560, (0 missing)
##       TV        < 241.65 to the left,  improve=0.06911761, (0 missing)
##   Surrogate splits:
##       Newspaper < 37.35  to the left,  agree=0.739, adj=0.455, (0 split)
##       TV        < 210.15 to the left,  agree=0.580, adj=0.121, (0 split)
## 
## Node number 4: 19 observations
##   mean=6.947368, MSE=2.758283 
## 
## Node number 5: 54 observations,    complexity param=0.03998999
##   mean=11.90926, MSE=5.994174 
##   left son=10 (22 obs) right son=11 (32 obs)
##   Primary splits:
##       Radio     < 14.15  to the left,  improve=0.4588561, (0 missing)
##       Newspaper < 45.5   to the left,  improve=0.2889810, (0 missing)
##       TV        < 108.6  to the left,  improve=0.2627180, (0 missing)
##   Surrogate splits:
##       Newspaper < 9.75   to the left,  agree=0.648, adj=0.136, (0 split)
##       TV        < 148.55 to the right, agree=0.630, adj=0.091, (0 split)
## 
## Node number 6: 33 observations,    complexity param=0.02424151
##   mean=14.12424, MSE=3.39214 
##   left son=12 (14 obs) right son=13 (19 obs)
##   Primary splits:
##       Radio     < 9.25   to the left,  improve=0.80430410, (0 missing)
##       Newspaper < 11.75  to the right, improve=0.07713483, (0 missing)
##       TV        < 265.4  to the left,  improve=0.03937333, (0 missing)
##   Surrogate splits:
##       TV < 195.4  to the right, agree=0.636, adj=0.143, (0 split)
## 
## Node number 7: 36 observations,    complexity param=0.03802142
##   mean=21.09722, MSE=6.45027 
##   left son=14 (18 obs) right son=15 (18 obs)
##   Primary splits:
##       Radio     < 35.85  to the left,  improve=0.60812960, (0 missing)
##       TV        < 220.05 to the left,  improve=0.27537930, (0 missing)
##       Newspaper < 39.15  to the left,  improve=0.09078214, (0 missing)
##   Surrogate splits:
##       Newspaper < 18.35  to the left,  agree=0.611, adj=0.222, (0 split)
##       TV        < 220.05 to the left,  agree=0.583, adj=0.167, (0 split)
## 
## Node number 10: 22 observations
##   mean=9.909091, MSE=0.8408264 
## 
## Node number 11: 32 observations,    complexity param=0.01800628
##   mean=13.28437, MSE=4.895693 
##   left son=22 (21 obs) right son=23 (11 obs)
##   Primary splits:
##       TV        < 118.85 to the left,  improve=0.4268822, (0 missing)
##       Radio     < 40.45  to the left,  improve=0.3142909, (0 missing)
##       Newspaper < 45.5   to the left,  improve=0.2383156, (0 missing)
##   Surrogate splits:
##       Radio < 14.6   to the right, agree=0.688, adj=0.091, (0 split)
## 
## Node number 12: 14 observations
##   mean=12.2, MSE=0.2914286 
## 
## Node number 13: 19 observations
##   mean=15.54211, MSE=0.9382271 
## 
## Node number 14: 18 observations
##   mean=19.11667, MSE=1.438056 
## 
## Node number 15: 18 observations
##   mean=23.07778, MSE=3.617284 
## 
## Node number 22: 21 observations
##   mean=12.2381, MSE=2.024263 
## 
## Node number 23: 11 observations
##   mean=15.28182, MSE=4.297851

4.6.2 Representar visualmente el árbol de regresión

rpart.plot(modelo_ar)

4.7 Predecir valores con datos de validación

predicciones <- predict(object = modelo_ar, newdata = datos.validacion)

Construir un data frame para comparar y luego evaluar

comparaciones <- data.frame(datos.validacion, predicciones)
comparaciones
##        TV Radio Newspaper Sales predicciones
## 4   151.5  41.3      58.5  18.5    15.281818
## 5   180.8  10.8      58.4  12.9    15.542105
## 8   120.2  19.6      11.6  13.2    15.281818
## 10  199.8   2.6      21.2  10.6    12.200000
## 16  195.4  47.7      52.9  22.4    23.077778
## 23   13.2  15.9      49.6   5.6     6.947368
## 26  262.9   3.5      19.5  12.0    12.200000
## 28  240.1  16.7      22.9  15.9    15.542105
## 30   70.6  16.0      40.8  10.5    12.238095
## 31  292.9  28.3      43.2  21.4    19.116667
## 37  266.9  43.8       5.0  25.4    23.077778
## 38   74.7  49.4      45.7  14.7    12.238095
## 45   25.1  25.7      43.3   8.5     6.947368
## 46  175.1  22.5      31.5  14.9    15.542105
## 47   89.7   9.9      35.7  10.6     9.909091
## 52  100.4   9.6       3.6  10.7     9.909091
## 58  136.2  19.2      16.6  13.2    15.281818
## 59  210.8  49.6      37.7  23.8    23.077778
## 61   53.5   2.0      21.4   8.1     9.909091
## 63  239.3  15.5      27.3  15.7    15.542105
## 66   69.0   9.3       0.9   9.3     9.909091
## 67   31.5  24.6       2.2   9.5     6.947368
## 69  237.4  27.5      11.0  18.9    19.116667
## 70  216.8  43.9      27.2  22.3    23.077778
## 80  116.0   7.7      23.1  11.0     9.909091
## 90  109.8  47.8      51.4  16.7    12.238095
## 101 222.4   4.3      49.8  11.7    12.200000
## 111 225.8   8.2      56.5  13.4    12.200000
## 112 241.7  38.0      23.2  21.8    23.077778
## 122  18.8  21.7      50.4   7.0     6.947368
## 123 224.0   2.4      15.6  11.6    12.200000
## 124 123.1  34.6      12.4  15.2    15.281818
## 131   0.7  39.6       8.7   1.6     6.947368
## 135  36.9  38.6      65.6  10.8    12.238095
## 136  48.3  47.0       8.5  11.6    12.238095
## 139  43.0  25.9      20.5   9.6    12.238095
## 145  96.2  14.8      38.9  11.4    12.238095
## 150  44.7  25.8      20.6  10.1    12.238095
## 153 197.6  23.3      14.2  16.6    15.542105
## 157  93.9  43.5      50.5  15.3    12.238095
## 164 163.5  36.8       7.4  18.0    23.077778
## 167  17.9  37.6      21.6   8.0     6.947368
## 169 215.4  23.6      57.6  17.1    15.542105
## 177 248.4  30.2      20.3  20.2    19.116667
## 178 170.2   7.8      35.2  11.7    12.200000
## 180 165.6  10.0      17.6  12.6    15.542105
## 184 287.6  43.0      71.8  26.2    23.077778
## 185 253.8  21.3      30.0  17.6    15.542105
## 190  18.7  12.1      23.4   6.7     6.947368
## 192  75.5  10.8       6.0   9.9     9.909091
## 193  17.2   4.1      31.6   5.9     6.947368
## 194 166.8  42.0       3.6  19.6    23.077778
## 195 149.7  35.6       6.0  17.3    15.281818
## 196  38.2   3.7      13.8   7.6     9.909091
## 197  94.2   4.9       8.1   9.7     9.909091
## 198 177.0   9.3       6.4  12.8    15.542105
## 199 283.6  42.0      66.2  25.5    23.077778
## 200 232.1   8.6       8.7  13.4    12.200000

4.8 rmse Root Mean Stándard Error (Root-mean-square deviation),

Este valor normalmente se compara contra otro modelo y el que esté mas cerca de cero es mejor.

La raiz del Error Cuadrático Medio (rmse) es una métrica que dice qué tan lejos están los valores predichos de los valores observados o reales en un análisis de regresión, en promedio. Se calcula como:

\[ rmse = \sqrt{\frac{\sum(predicho_i - real_i)^{2}}{n}} \]

RMSE es una forma útil de ver qué tan bien un modelo de regresión puede ajustarse a un conjunto de datos.

Cuanto mayor sea el rmse, mayor será la diferencia entre los valores predichos y reales, lo que significa que peor se ajusta un modelo de regresión a los datos. Por el contrario, cuanto más pequeño sea el rmse, mejor podrá un modelo ajustar los datos.

Se compara este valor de rmse con respecto al modelo de regresión múltiple que fue de 1.590948 y este modelo de árbol de regresión se obtiene un valor de rmse de 1.455681, por lo tanto bajo este criterio el modelo de árbol de regresión es mejor comparado con el modelo de regresión múltiple.

rmse <- rmse(actual = comparaciones$Sales, predicted = comparaciones$predicciones)
rmse
## [1] 2.014938

4.9 Graficar predicciones contra valores reales

ggplot(data = comparaciones) +
  geom_line(aes(x = 1:nrow(comparaciones), y = Sales), col='blue') +
  geom_line(aes(x = 1:nrow(comparaciones), y = predicciones), col='yellow') +
  ggtitle(label="Valores reales vs predichos Adverstising", subtitle = "Arbol de Regresión")

4.10 Predicciones con datos nuevos

TV <- c(140, 160)
Radio <- c(60, 40)
Newspaper <- c(80, 90) 
nuevos <- data.frame(TV, Radio, Newspaper)  
nuevos
##    TV Radio Newspaper
## 1 140    60        80
## 2 160    40        90
Y.predicciones <- predict(object = modelo_ar, newdata = nuevos)
Y.predicciones
##        1        2 
## 15.28182 23.07778

5 Interpretación

Como conclusion se puede decir que los algoritmos de aprendizaje basados en árbol se consideran uno de los mejores y más utilizados métodos de aprendizaje supervisado. Potencian modelos predictivos con alta precisión, estabilidad y facilidad de interpretación. Se utilizan árboles de clasificación para explicar y predecir la pertenencia de los objetos (observaciones, individuos) a una clase, sobre la base de variables explicativas cuantitativas y cualitativas.La variable dependiente o variable objetivo es Sales que deberá estar en función de la inversión que se hace en TV, Radio o Newspaper. Para ponernos en practica primero empezamos con los datos de entrenamiento en la variable entrena se generan los registros que van a ser los datos de entrenamiento, de tal forma que los datos de validación serán los que no sena de entrenamiento [-entrena]. y los datos de validación deben ser diferentes a los datos den entrenamiento. Despues procedemos a un data frame para comparar y luego evaluar. La raiz del Error Cuadrático Medio normalmente se compara contra otro modelo y el que esté mas cerca de cero es mejor. e obtiene un valor de rmse de 1.455681, por lo tanto bajo este criterio el modelo de árbol de regresión es mejor comparado con el modelo de regresión múltiple.