Objetivo

Crear y evaluar un modelo de arboles aleatotios (random forest) para predecir las ventas con datos simulados de una empresa dependiendo de las inversiones realizadas en publicidad.

Descripción

Fundamento teórico

Extraído de : [@amatrodrigo2017] [@amatrodrigo2017]

Un modelo Random Forest está formado por un conjunto (ensemble) de árboles de decisión individuales, cada uno entrenado con una muestra aleatoria extraída de los datos de entrenamiento originales mediante bootstrapping. Esto implica que cada árbol se entrena con unos datos ligeramente distintos.

En cada árbol individual, las observaciones se van distribuyendo por bifurcaciones (nodos) generando la estructura del árbol hasta alcanzar un nodo terminal. La predicción de una nueva observación se obtiene agregando las predicciones de todos los árboles individuales que forman el modelo.

Para entender cómo funcionan los modelos Random Forest es necesario conocer primero los conceptos de ensemble y bagging.

Métodos de ensemble

Todos los modelos de aprendizaje estadístico y machine learning sufren el problema de equilibrio entre bias y varianza.

El término bias (sesgo) hace referencia a cuánto se alejan en promedio las predicciones de un modelo respecto a los valores reales. Refleja cómo de capaz es el modelo de aprender la relación real que existe entre los predictores y la variable respuesta. Por ejemplo, si la relación sigue un patrón no lineal, por muchos datos de los que se disponga, un modelo de regresión lineal no podrá modelar correctamente la relación, por lo que tendrá un bias alto.

El término varianza hace referencia a cuánto cambia el modelo dependiendo de los datos utilizados en su entrenamiento. Idealmente, un modelo no debería modificarse demasiado por pequeñas variaciones en los datos de entrenamiento, si esto ocurre, es porque el modelo está memorizando los datos en lugar de aprender la verdadera relación entre los predictores y la variable respuesta. Por ejemplo, un modelo de árbol con muchos nodos, suele variar su estructura con que apenas cambien unos pocos datos de entrenamiento, tiene mucha varianza.

A medida que aumenta la complejidad de un modelo, este dispone de mayor flexibilidad para adaptarse a las observaciones, reduciendo así el bias y mejorando su capacidad predictiva. Sin embargo, alcanzado un determinado grado de flexibilidad, aparece el problema de overfitting, el modelo se ajusta tanto a los datos de entrenamiento que es incapaz de predecir correctamente nuevas observaciones. El mejor modelo es aquel que consigue un equilibrio óptimo entre bias y varianza.

¿Cómo se controlan el bias y varianza en los modelos basados en árboles? Por lo general, los árboles pequeños (pocas ramificaciones) tienen poca varianza pero no consiguen representar bien la relación entre las variables, es decir, tienen bias alto. En contraposición, los árboles grandes se ajustan mucho a los datos de entrenamiento, por lo que tienen muy poco bias pero mucha varianza. Una forma de solucionar este problema son los métodos de ensemble.

Los métodos de ensemble combinan múltiples modelos en uno nuevo con el objetivo de lograr un equilibro entre bias y varianza, consiguiendo así mejores predicciones que cualquiera de los modelos individuales originales. Dos de los tipos de ensemble más utilizados son:

  • Bagging: Se ajustan múltiples modelos, cada uno con un subconjunto distinto de los datos de entrenamiento. Para predecir, todos los modelos que forman el agregado participan aportando su predicción. Como valor final, se toma la media de todas las predicciones (variables continuas) o la clase más frecuente (variables categóricas). Los modelos Random Forest están dentro de esta categoría.

  • Boosting: Se ajustan secuencialmente múltiples modelos sencillos, llamados weak learners, de forma que cada modelo aprende de los errores del anterior. Como valor final, al igual que en bagging, se toma la media de todas las predicciones (variables continuas) o la clase más frecuente (variables cualitativas). Tres de los métodos de boosting más empleados son AdaBoost, Gradient Boosting y Stochastic Gradient Boosting.

Aunque el objetivo final es el mismo, lograr un balance óptimo entre bias y varianza, existen dos diferencias importantes:

  • Forma en que consiguen reducir el error total. El error total de un modelo puede descomponerse como \(bias+varianza+ϵ\).

En bagging, se emplean modelos con muy poco bias pero mucha varianza, agregándolos se consigue reducir la varianza sin apenas inflar el bias. En boosting, se emplean modelos con muy poca varianza pero mucho bias, ajustando secuencialmente los modelos se reduce el bias. Por lo tanto, cada una de las estrategias reduce una parte del error total.

  • Forma en que se introducen variaciones en los modelos que forman el ensemble. En bagging, cada modelo es distinto del resto porque cada uno se entrena con una muestra distinta obtenida mediante bootstrapping. En boosting, los modelos se ajustan secuencialmente y la importancia (peso) de las observaciones va cambiando en cada iteración, dando lugar a diferentes ajustes.

La clave para que los métodos de ensemble consigan mejores resultados que cualquiera de sus modelos individuales es que, los modelos que los forman, sean lo más diversos posibles (sus errores no estén correlacionados). Una analogía que refleja este concepto es la siguiente: supóngase un juego como el trivial en el que los equipos tienen que acertar preguntas sobre temáticas diversas. Un equipo formado por muchos jugadores, cada uno experto en un tema distinto, tendrá más posibilidades de ganar que un equipo formado por jugadores expertos en un único tema o por un único jugador que sepa un poco de todos los temas.

A continuación, se describe con más detalle la estrategia de bagging, sobre la que se fundamenta el modelo Random Forest.

Bagging

El término bagging es el diminutivo de bootstrap aggregation, y hace referencia al empleo del muestreo repetido con reposición bootstrapping con el fin de reducir la varianza de algunos modelos de aprendizaje estadístico, entre ellos los basados en árboles.

Dadas \(n\) muestras de observaciones independientes \(Z_1, ... Z_n\), cada una con varianza \(\sigma^2\), la varianza de la media de las observaciones \(\bar{Z}\) es \(\sigma^2 / n\).

En otras palabras, promediando un conjunto de observaciones se reduce la varianza.

Basándose en esta idea, una forma de reducir la varianza y aumentar la precisión de un método predictivo es obtener múltiples muestras de la población, ajustar un modelo distinto con cada una de ellas, y hacer la media (la moda en el caso de variables cualitativas) de las predicciones resultantes.

Como en la práctica no se suele tener acceso a múltiples muestras, se puede simular el proceso recurriendo a bootstrapping, generando así pseudo-muestras con los que ajustar diferentes modelos y después agregarlos. A este proceso se le conoce como bagging y es aplicable a una gran variedad de métodos de regresión.

En el caso particular de los árboles de decisión, dada su naturaleza de bajo bias y alta varianza, bagging ha demostrado tener muy buenos resultados. La forma de aplicarlo es:

Generar BB pseudo-training sets mediante bootstrapping a partir de la muestra de entrenamiento original.

Entrenar un árbol con cada una de las BB muestras del paso

Cada árbol se crea sin apenas restricciones y no se somete a pruning, por lo que tiene varianza alta pero poco bias. En la mayoría de casos, la única regla de parada es el número mínimo de observaciones que deben tener los nodos terminales. El valor óptimo de este hiperparámetro puede obtenerse comparando el out of bag error o por validación cruzada.

Para cada nueva observación, obtener la predicción de cada uno de los BB árboles. El valor final de la predicción se obtiene como la media de las BB predicciones en el caso de variables cuantitativas y como la clase predicha más frecuente (moda) para variables cualitativas.

En el proceso de bagging, el número de árboles creados no es un hiperparámetro crítico en cuanto a que, por mucho que se incremente el número, no se aumenta el riesgo de overfitting. Alcanzado un determinado número de árboles, la reducción de test error se estabiliza. A pesar de ello, cada árbol ocupa memoria, por lo que no conviene almacenar más de los necesarios.

Entrenamiento de Random Forest

El algoritmo de Random Forest es una modificación del proceso de bagging que consigue mejorar los resultados gracias a que decorrelaciona aún más los árboles generados en el proceso.

Recordando el apartado anterior, los beneficios del bagging se basan en el hecho de que, promediando un conjunto de modelos, se consigue reducir la varianza. Esto es cierto siempre y cuando los modelos agregados no estén correlacionados. Si la correlación es alta, la reducción de varianza que se puede lograr es pequeña.

Supóngase un set de datos en el que hay un predictor muy influyente, junto con otros moderadamente influyentes. En este escenario, todos o casi todos los árboles creados en el proceso de bagging estarán dominados por el mismo predictor y serán muy parecidos entre ellos. Como consecuencia de la alta correlación entre los árboles, el proceso de bagging apenas conseguirá disminuir la varianza y, por lo tanto, tampoco mejorar el modelo.

Random forest evita este problema haciendo una selección aleatoria de mm predictores antes de evaluar cada división. De esta forma, un promedio de \((p−m)/p\) divisiones no contemplarán el predictor influyente, permitiendo que otros predictores puedan ser seleccionados. Añadiendo este paso extra se consigue decorrelacionar los árboles todavía más, con lo que su agregación consigue una mayor reducción de la varianza.

Los métodos de random forest y bagging siguen el mismo algoritmo con la única diferencia de que, en random forest, antes de cada división, se seleccionan aleatoriamente m predictores. La diferencia en el resultado dependerá del valor m escogido. Si \(m=p\) los resultados de random forest y bagging son equivalentes. Algunas recomendaciones son:

  • La raíz cuadrada del número total de predictores para problemas de clasificación. \(m \approx \sqrt{p}\)

  • Un tercio del número de predictores para problemas de regresión \(m \approx \frac{p}{3}\).

  • Si los predictores están muy correlacionados, valores pequeños de \(m\) consiguen mejores resultados.

Sin embargo, la mejor forma para encontrar el valor óptimo de mm es evaluar el out-of-bag-error o recurrir a validación cruzada.

Al igual que ocurre con bagging, random forest no sufre problemas de overfit por aumentar el número de árboles creados en el proceso. Alcanzado un determinado número, la reducción del error de test se estabiliza.

Por otra parte como lo menciona [@veloso2019] la mejor formar de evaluar los datos podría ser utilizar diversos arboles de decisión para regresión, así hacer una mejor predicción calculando el promedio de sus predicciones, este enfoque se denomina como algoritmos de ensamble o ensemble learning.

De este algoritmo se pudiera decir, que une múltiples árboles de decision, así crea un bosque de predicción, las evalúa y entrega el resultado promedio. [@veloso2019]

Desarrollo

Cargar librerías

Algunas de ellas se utilizan

library(readr) # Para importar datos
library(dplyr) # Para filtrar   
library(knitr) # Para datos tabulares
library(ggplot2) # Para visualizar
library(plotly)
library(caret)  # Para particionar
library(Metrics) # Para determinar rmse
library(rpart) # Para árbol
library(rpart.plot) # Para árbol

library(randomForest) # Para random forest
library(caret) # Para hacer divisiones o particiones
library(reshape)    # Para renombrar columnas

Cargar datos

datos <- read.csv("https://raw.githubusercontent.com/rpizarrog/Analisis-Inteligente-de-datos/main/datos/Advertising_Web.csv")

Explorar datos

Son 200 registros tres variables independientes y una variable dependiente.

La variable dependiente o variable objetivo es Sales que deberá estar en función de la inversión que se hace en TV, Radio, Newspaper o Web.

str(datos)
## 'data.frame':    200 obs. of  7 variables:
##  $ X.1      : int  1 2 3 4 5 6 7 8 9 10 ...
##  $ X        : int  1 2 3 4 5 6 7 8 9 10 ...
##  $ TV       : num  230.1 44.5 17.2 151.5 180.8 ...
##  $ Radio    : num  37.8 39.3 45.9 41.3 10.8 48.9 32.8 19.6 2.1 2.6 ...
##  $ Newspaper: num  69.2 45.1 69.3 58.5 58.4 75 23.5 11.6 1 21.2 ...
##  $ Web      : num  306.6 302.7 49.5 257.8 195.7 ...
##  $ Sales    : num  22.1 10.4 9.3 18.5 12.9 7.2 11.8 13.2 4.8 10.6 ...
summary(datos)
##       X.1               X                TV             Radio       
##  Min.   :  1.00   Min.   :  1.00   Min.   :  0.70   Min.   : 0.000  
##  1st Qu.: 50.75   1st Qu.: 50.75   1st Qu.: 74.38   1st Qu.: 9.975  
##  Median :100.50   Median :100.50   Median :149.75   Median :22.900  
##  Mean   :100.50   Mean   :100.50   Mean   :147.04   Mean   :23.264  
##  3rd Qu.:150.25   3rd Qu.:150.25   3rd Qu.:218.82   3rd Qu.:36.525  
##  Max.   :200.00   Max.   :200.00   Max.   :296.40   Max.   :49.600  
##    Newspaper           Web              Sales      
##  Min.   :  0.30   Min.   :  4.308   Min.   : 1.60  
##  1st Qu.: 12.75   1st Qu.: 99.049   1st Qu.:10.38  
##  Median : 25.75   Median :156.862   Median :12.90  
##  Mean   : 30.55   Mean   :159.587   Mean   :14.02  
##  3rd Qu.: 45.10   3rd Qu.:212.312   3rd Qu.:17.40  
##  Max.   :114.00   Max.   :358.247   Max.   :27.00

Limpiar datos

Quitar las primeras columnas

datos <- select(datos, TV, Radio, Newspaper, Web, Sales)

head(datos)

kable(head(datos, 20), caption = "Primeros 20 registros")
Primeros 20 registros
TV Radio Newspaper Web Sales
230.1 37.8 69.2 306.63475 22.1
44.5 39.3 45.1 302.65307 10.4
17.2 45.9 69.3 49.49891 9.3
151.5 41.3 58.5 257.81689 18.5
180.8 10.8 58.4 195.66008 12.9
8.7 48.9 75.0 22.07240 7.2
57.5 32.8 23.5 246.81160 11.8
120.2 19.6 11.6 229.97146 13.2
8.6 2.1 1.0 144.61739 4.8
199.8 2.6 21.2 111.27226 10.6
66.1 5.8 24.2 45.35903 8.6
214.7 24.0 4.0 164.97176 17.4
23.8 35.1 65.9 87.92109 9.2
97.5 7.6 7.2 173.65804 9.7
204.1 32.9 46.0 245.77496 19.0
195.4 47.7 52.9 148.09513 22.4
67.8 36.6 114.0 202.63890 12.5
281.4 39.6 55.8 41.75531 24.4
69.2 20.5 18.3 210.48991 11.3
147.3 23.9 19.1 268.73538 14.6

tail(datos)

kable(tail(datos, 20), caption = "Últimos 20 registros")
Últimos 20 registros
TV Radio Newspaper Web Sales
181 156.6 2.6 8.3 122.11647 10.5
182 218.5 5.4 27.4 162.38749 12.2
183 56.2 5.7 29.7 42.19929 8.7
184 287.6 43.0 71.8 154.30972 26.2
185 253.8 21.3 30.0 181.57905 17.6
186 205.0 45.1 19.6 208.69269 22.6
187 139.5 2.1 26.6 236.74404 10.3
188 191.1 28.7 18.2 239.27571 17.3
189 286.0 13.9 3.7 151.99073 15.9
190 18.7 12.1 23.4 222.90695 6.7
191 39.5 41.1 5.8 219.89058 10.8
192 75.5 10.8 6.0 301.48119 9.9
193 17.2 4.1 31.6 265.02864 5.9
194 166.8 42.0 3.6 192.24621 19.6
195 149.7 35.6 6.0 99.57998 17.3
196 38.2 3.7 13.8 248.84107 7.6
197 94.2 4.9 8.1 118.04186 9.7
198 177.0 9.3 6.4 213.27467 12.8
199 283.6 42.0 66.2 237.49806 25.5
200 232.1 8.6 8.7 151.99073 13.4

Datos de entrenamiento y validación

Datos de entrenamiento

n <- nrow(datos)
# Modificar la semilla estableciendo como parámetro los útimos cuatro dígitos de su no de control. 
# Ej. set.seed(0732), o set.seed(1023)
# set.seed(2022) 
set.seed(1280)

De manera aleatoria se construyen los datos de entrenamiento y los datos de validación.

En la variable entrena se generan los registros que van a ser los datos de entrenamiento, de tal forma que los datos de validación serán los que no sena de entrenamiento [-entrena].

entrena <- createDataPartition(y = datos$Sales, p = 0.70, list = FALSE, times = 1)
# Datos entrenamiento
datos.entrenamiento <- datos[entrena, ]  # [renglones, columna]
# Datos validación
datos.validacion <- datos[-entrena, ]

tail()

kable(tail(datos.entrenamiento, 20), caption = "Datos de entrenamiento ültimos 20 registros")
Datos de entrenamiento ültimos 20 registros
TV Radio Newspaper Web Sales
177 248.4 30.2 20.3 163.85204 20.2
178 170.2 7.8 35.2 104.91734 11.7
179 276.7 2.3 23.7 137.32377 11.8
180 165.6 10.0 17.6 151.99073 12.6
181 156.6 2.6 8.3 122.11647 10.5
182 218.5 5.4 27.4 162.38749 12.2
183 56.2 5.7 29.7 42.19929 8.7
184 287.6 43.0 71.8 154.30972 26.2
185 253.8 21.3 30.0 181.57905 17.6
186 205.0 45.1 19.6 208.69269 22.6
187 139.5 2.1 26.6 236.74404 10.3
188 191.1 28.7 18.2 239.27571 17.3
189 286.0 13.9 3.7 151.99073 15.9
190 18.7 12.1 23.4 222.90695 6.7
191 39.5 41.1 5.8 219.89058 10.8
194 166.8 42.0 3.6 192.24621 19.6
196 38.2 3.7 13.8 248.84107 7.6
197 94.2 4.9 8.1 118.04186 9.7
198 177.0 9.3 6.4 213.27467 12.8
199 283.6 42.0 66.2 237.49806 25.5

Datos de validación

Los datos de validación deben ser diferentes a los datos den entrenamiento.

head()

kable(head(datos.validacion, 20), caption = "Datos de Validación Primeros 20 registros")
Datos de Validación Primeros 20 registros
TV Radio Newspaper Web Sales
1 230.1 37.8 69.2 306.6348 22.1
5 180.8 10.8 58.4 195.6601 12.9
7 57.5 32.8 23.5 246.8116 11.8
20 147.3 23.9 19.1 268.7354 14.6
31 292.9 28.3 43.2 121.4643 21.4
35 95.7 1.4 7.4 321.1746 9.5
43 293.6 27.7 1.8 174.7168 20.7
51 199.8 3.1 34.6 151.9907 11.4
53 216.4 41.7 39.6 161.8025 22.6
54 182.6 46.2 58.7 176.0501 21.2
64 102.7 29.6 8.4 183.0097 14.0
66 69.0 9.3 0.9 205.9935 9.3
67 31.5 24.6 2.2 216.4714 9.5
73 26.8 33.0 19.3 211.9909 8.8
77 27.5 1.6 20.7 117.1019 6.9
80 116.0 7.7 23.1 120.0535 11.0
88 110.7 40.6 63.2 107.4305 16.0
89 88.3 25.5 73.4 260.1019 12.9
90 109.8 47.8 51.4 162.7279 16.7
97 197.6 3.5 5.9 139.8305 11.7

tail()

kable(tail(datos.validacion, 20), caption = "Datos de validació últimos 20 registros")
Datos de validació últimos 20 registros
TV Radio Newspaper Web Sales
151 280.7 13.9 37.0 81.04062 16.1
152 121.0 8.4 48.7 103.25521 11.6
154 171.3 39.7 37.7 155.01622 19.0
159 11.7 36.9 45.2 185.86608 7.3
160 131.7 18.4 34.6 196.37030 12.9
161 172.5 18.1 30.7 207.49680 14.4
162 85.7 35.8 49.3 188.93353 13.3
164 163.5 36.8 7.4 82.22879 18.0
167 17.9 37.6 21.6 99.93695 8.0
168 206.8 5.2 19.4 115.37196 12.2
169 215.4 23.6 57.6 203.43127 17.1
170 284.3 10.6 6.4 157.90011 15.0
173 19.6 20.1 17.0 155.58366 7.6
174 168.4 7.1 12.8 218.18083 11.7
175 222.4 3.4 13.1 144.52566 11.5
176 276.9 48.9 41.8 151.99073 27.0
192 75.5 10.8 6.0 301.48119 9.9
193 17.2 4.1 31.6 265.02864 5.9
195 149.7 35.6 6.0 99.57998 17.3
200 232.1 8.6 8.7 151.99073 13.4

Construir el modelo

La función randomForest construye el modelo, el argumento importance identifica el impacto de importancia de cada variable independiente sobre la variable dependiente, el argumento ntree establece la cantidad de árboles a construir.

modelo_rf <- randomForest(x = datos.entrenamiento[,1:4], y = datos.entrenamiento[,5], xtest = datos.validacion[,1:4], ytest = datos.validacion[,5], importance = TRUE, keep.forest = TRUE, ntree=50)
modelo_rf
## 
## Call:
##  randomForest(x = datos.entrenamiento[, 1:4], y = datos.entrenamiento[,      5], xtest = datos.validacion[, 1:4], ytest = datos.validacion[,      5], ntree = 50, importance = TRUE, keep.forest = TRUE) 
##                Type of random forest: regression
##                      Number of trees: 50
## No. of variables tried at each split: 1
## 
##           Mean of squared residuals: 4.567535
##                     % Var explained: 83.66
##                        Test set MSE: 4.98
##                     % Var explained: 80.21

Del modelo anterior se rescata el valor de la variable dependiente explicada con las variables independientes que es aproximadamente a razón del 89%.

Importancia de las variables independientes

Las variables TV y Radio son las más importantes variables para este modelo para estos datos.

modelo_rf$importance
##              %IncMSE IncNodePurity
## TV        21.8907635     1736.9282
## Radio     13.1705768     1160.0656
## Newspaper  0.9485274      521.8868
## Web        0.6318241      429.4703

¿Que tan bueno sería el modelo?

Predicciones

predicciones <- predict(object = modelo_rf, newdata = datos.validacion)
predicciones
##         1         5         7        20        31        35        43        51 
## 20.005200 15.671067 11.852133 13.730567 17.371233 10.050200 18.414700 13.503000 
##        53        54        64        66        67        73        77        80 
## 20.661100 21.260633 13.221167 10.643567  8.800100 12.386800  7.508667 11.093400 
##        88        89        90        97       101       110       114       116 
## 14.531233 12.939067 16.194233 12.918433 13.818733 16.628533 15.515867 14.224700 
##       118       119       125       126       127       131       134       137 
##  9.883267 16.004867 18.349667 10.305900 11.738400 11.170467 18.985267 11.059633 
##       139       140       142       143       147       149       151       152 
## 10.974333 19.454333 19.612600 17.193600 13.073900 12.271233 14.016133 12.809367 
##       154       159       160       161       162       164       167       168 
## 18.417767 11.319700 12.682967 13.798600 14.082233 16.783667 11.857433 12.891767 
##       169       170       173       174       175       176       192       193 
## 17.038733 14.493900  9.267700 12.988100 13.257433 22.707233 10.114733  7.749667 
##       195       200 
## 16.049667 13.856033

Generar un a comparción con los valores reales y las predicciones

comparaciones <- data.frame(reales = datos.validacion$Sales, predicciones)
comparaciones
##     reales predicciones
## 1     22.1    20.005200
## 5     12.9    15.671067
## 7     11.8    11.852133
## 20    14.6    13.730567
## 31    21.4    17.371233
## 35     9.5    10.050200
## 43    20.7    18.414700
## 51    11.4    13.503000
## 53    22.6    20.661100
## 54    21.2    21.260633
## 64    14.0    13.221167
## 66     9.3    10.643567
## 67     9.5     8.800100
## 73     8.8    12.386800
## 77     6.9     7.508667
## 80    11.0    11.093400
## 88    16.0    14.531233
## 89    12.9    12.939067
## 90    16.7    16.194233
## 97    11.7    12.918433
## 101   11.7    13.818733
## 110   19.8    16.628533
## 114   15.9    15.515867
## 116   12.6    14.224700
## 118    9.4     9.883267
## 119   15.9    16.004867
## 125   19.7    18.349667
## 126   10.6    10.305900
## 127    6.6    11.738400
## 131    1.6    11.170467
## 134   19.6    18.985267
## 137    9.5    11.059633
## 139    9.6    10.974333
## 140   20.7    19.454333
## 142   19.2    19.612600
## 143   20.1    17.193600
## 147   13.2    13.073900
## 149   10.9    12.271233
## 151   16.1    14.016133
## 152   11.6    12.809367
## 154   19.0    18.417767
## 159    7.3    11.319700
## 160   12.9    12.682967
## 161   14.4    13.798600
## 162   13.3    14.082233
## 164   18.0    16.783667
## 167    8.0    11.857433
## 168   12.2    12.891767
## 169   17.1    17.038733
## 170   15.0    14.493900
## 173    7.6     9.267700
## 174   11.7    12.988100
## 175   11.5    13.257433
## 176   27.0    22.707233
## 192    9.9    10.114733
## 193    5.9     7.749667
## 195   17.3    16.049667
## 200   13.4    13.856033

Evaluar con la métrica MRSE

Este valor normalmente se compara contra otro modelo y el que esté mas cerca de cero es mejor.

La raiz del Error Cuadrático Medio (rmse) es una métrica que dice qué tan lejos están los valores predichos de los valores observados o reales en un análisis de regresión, en promedio. Se calcula como:

\[ rmse = \sqrt{\frac{\sum(predicho_i - real_i)^{2}}{n}} \]

RMSE es una forma útil de ver qué tan bien un modelo de regresión puede ajustarse a un conjunto de datos.

Cuanto mayor sea el rmse, mayor será la diferencia entre los valores predichos y reales, lo que significa que peor se ajusta un modelo de regresión a los datos. Por el contrario, cuanto más pequeño sea el rmse, mejor podrá un modelo ajustar los datos.

Se compara este valor de rmse con respecto al modelo de regresión múltiple

rmse <- rmse(comparaciones$reales, comparaciones$predicciones)
rmse
## [1] 2.230969

Con este modelo de bosque aleatorio, con los mismos datos, de entrenamiento y validación con 50 árboles simulados en el modelo, se tuvo un valor de 1.5667 en RMSE, por lo que se puede interpretar que este modelo de regresión no fue tan bueno como el modelo de árboles de regresión con un valor de rmse igual a 1.45568.

Este valor se compara contra otros modelos y en términos de variación con respecto a los valores reales es mas eficiente aquel modelo que se acerca a 0.

Visualizar valores reales vs predicciones

ggplot(data = comparaciones) +
  geom_line(aes(x = 1:nrow(comparaciones), y = reales), col='blue') +
  geom_line(aes(x = 1:nrow(comparaciones), y = predicciones), col='yellow') +
  ggtitle(label="Valores reales vs predichos Adverstising", subtitle = "Arbol de Regresión")

Interpretación

Con este modelo y con estos datos interprete lo siguiente:

Los datos que se le proporcionan al modelo de árboles aleartorios (random forest) corresponden a una simulación de las inversiones que se han ejecutado en el departamneto de publicidad de una empresa, posteriormente el obejtivo es hacer una predición de las ventas. Por último es determinar la variable que representa la desviación que existe entre los datos reales y los predichos por el modelo, de este modo evaluando su efictividad con respecto a otros modelos.

Se analizan 200 observaciones y hay 5 variables de interés.

La variables dependiente es “Sales” y las variables independientes están conformadas por “TV”, “Radio”, “Periódico”, “WEB”.

Los datos de entrenamiento se encuentran en un 70% y los datos de validación en un 30%.

Con este modelo de bosque aleatorio, con los mismos datos, de entrenamiento y validación con 50 árboles simulados en el modelo, se tuvo un valor de 2.230969 en RMSE, por lo que se puede interpretar que este modelo de regresión no es muy efectivo y tal vez deberia de considerarse el uso de otra programación o incluso otro modelo.

Posiblemente, tomando en cuenta el valor con el que ha salido el RMSE, sin embargo, el modelo de árboles aleartorios es bastante útil y posee características que lo hacen un modelo óptimo para una gran cantidad de datos y con características únicas.

Tanto como el valor del RMSE lo permite. Personalmente he presenciado valores de esta variable más bajos que el que ha arrojado este modelo, lo siguiente que habría que hacer sería compararlo con otros y determinar su eficacia.

El valor del RMSE en python fue de 0.8975836079905484 y en R fue de 2.230969, por lo que claramente existe una gran diferencia entre ambos datos y se puede definir sin problemas que el modelo de árboles aleartorios más efectivo, con estos datos especificamente, es el de Python.

Bibliografía