Caso 4 Arbol de Regresión con datos Advertising. Programación Python
Carlos Daniel Reyes Valenzuela
2022-10-05
Objetivo
Crear y evaluar un modelo de árbol de regresión para predecir las ventas con datos simulados de una empresa dependiendo de las inversiones realizadas en publicidad.
Descripción
Se utiliza programación Python
Cargar librerías y datos
Limpiar datos si es necesario
Explorar datos
Partir los datos en datos de entrenamiento y datos de validación 70% y 30%
Crear modelo de regresión con los datos de entrenamiento
Predicciones
Evaluar predicciones con respecto a datos reales
Determinar el estadístico rmse para evaluar con respecto a otros modelos
Interpretar el caso
Fundamento teórico
Los algoritmos de aprendizaje basados en árbol se consideran uno de los mejores y más utilizados métodos de aprendizaje supervisado. Potencían modelos predictivos con alta precisión, estabilidad y facilidad de interpretación.
Los árboles de clasificación y regresión son métodos que proporcionan modelos que satisfacen objetivos tanto predictivos como explicativos.
Algunas ventajas son su sencillez y la representación gráfica mediante árboles y, por otro, la definición de reglas de asociación entre variables que incluye expresiones de condición que permiten explicar las predicciones.
Se pueden usar para regresiones con variables dependientes que tienen valores numéricos continuos o para clasificaciones con variables categóricas.
Utilizar un árbol de regresión para crear un modelo explicativo y predictivo para una variable cuantitativa dependiente basada en variables explicativas independientes cuantitativas y cualitativas (XLSTAT by Addinsoft, n.d.).
Un árbol de regresión consiste en hacer preguntas de tipo ¿xk<c? para cada una de las covariables, de esta forma el espacio de las covariables es divido en hiper-rectángulos (con el resultado de las condicionales) de las observaciones que queden dentro de un hiper-rectángulo tendrán el mismo valor estimado y^ o Y . (Hernández 2021)
Por otra parte, bajo el paradigma divide y vencerás, usando árboles de regresión y decisión y correspondientes reglas, el árbol representa el modelo similar a un diagrama de flujo en el que los nodos de decisión, los nodos de hoja y las ramas definen una serie de decisiones que se pueden usar para generar predicciones. Siguiendo las reglas se encuentran predicciones en la hoja final. . (Lantz 2013)
Desarrollo
Para trabajar con código Python, se deben cargan las librerías de Python previamente instaladas con la función py_install() de la librería reticulate de R.
La función repl_python() se utilizar para ejecutar ventana de comando o shell de Python.
Se recomienda instalar estos paquetes de Python
py_install(packages = “pandas”)
py_install(packages = “matplotlib”)
py_install(packages = “numpy”)
py_install(packages = “sklearn”) en R cloud
py_install(“scikit-learn”) R Studio local
py_install(packages = “statsmodels.api”)
py_install(packages = “seaborn”)
En terminal de Python se puede actualizar con conda create -n py3.8 python=3.8 scikit-learn pandas numpy matplotlib
Cargar librerías
library (reticulate)# Tratamiento de datos
import numpy as np
import pandas as pd
# Gráficos
import matplotlib.pyplot as plt
# Preprocesado y modelado
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegressor
from sklearn.tree import plot_tree
from sklearn.tree import export_graphviz
from sklearn.tree import export_text
from sklearn.model_selection import GridSearchCV
from sklearn import metrics
from sklearn.metrics import mean_squared_error, r2_scoreCargar datos
datos = pd.read_csv("https://raw.githubusercontent.com/rpizarrog/Analisis-Inteligente-de-datos/main/datos/Advertising_Web.csv")
datos## Unnamed: 0 X TV Radio Newspaper Web Sales
## 0 1 1 230.1 37.8 69.2 306.634752 22.1
## 1 2 2 44.5 39.3 45.1 302.653070 10.4
## 2 3 3 17.2 45.9 69.3 49.498908 9.3
## 3 4 4 151.5 41.3 58.5 257.816893 18.5
## 4 5 5 180.8 10.8 58.4 195.660076 12.9
## .. ... ... ... ... ... ... ...
## 195 196 196 38.2 3.7 13.8 248.841073 7.6
## 196 197 197 94.2 4.9 8.1 118.041856 9.7
## 197 198 198 177.0 9.3 6.4 213.274671 12.8
## 198 199 199 283.6 42.0 66.2 237.498063 25.5
## 199 200 200 232.1 8.6 8.7 151.990733 13.4
##
## [200 rows x 7 columns]Explorar datos
print("Observaciones y variables: ", datos.shape)## Observaciones y variables: (200, 7)print("Columnas y tipo de dato")
# datos.columns## Columnas y tipo de datodatos.dtypes## Unnamed: 0 int64
## X int64
## TV float64
## Radio float64
## Newspaper float64
## Web float64
## Sales float64
## dtype: objectdatos.info()## <class 'pandas.core.frame.DataFrame'>
## RangeIndex: 200 entries, 0 to 199
## Data columns (total 7 columns):
## # Column Non-Null Count Dtype
## --- ------ -------------- -----
## 0 Unnamed: 0 200 non-null int64
## 1 X 200 non-null int64
## 2 TV 200 non-null float64
## 3 Radio 200 non-null float64
## 4 Newspaper 200 non-null float64
## 5 Web 200 non-null float64
## 6 Sales 200 non-null float64
## dtypes: float64(5), int64(2)
## memory usage: 11.1 KBSe describen las variables independientes: TV, Radio Newpaper y la variable dependiente Sales.
Valor de etiqueta o variable objetivo deendiente(ventas): que significa el volumen de ventas del producto correspondiente
Las variables independientes: (TV, Radio, Periódico, WEB):
TV: son los costos de la publicidad en TV (en miles)
Radio: costos de publicidad invertidos en medios de difusión radio;
Newspaper Periódico: costos publicitarios para medios impresos.
Web: Costos de publicidad invertidos en herramientas digitales.
Limpiar datos
Quitar las primeras columnas y dejar TV Radio NewsPaper Web y Sales
datos = datos[['TV','Radio', 'Newspaper', 'Web', 'Sales']]
datos.describe()## TV Radio Newspaper Web Sales
## count 200.000000 200.000000 200.000000 200.000000 200.000000
## mean 147.042500 23.264000 30.554000 159.587355 14.022500
## std 85.854236 14.846809 21.778621 76.815266 5.217457
## min 0.700000 0.000000 0.300000 4.308085 1.600000
## 25% 74.375000 9.975000 12.750000 99.048767 10.375000
## 50% 149.750000 22.900000 25.750000 156.862154 12.900000
## 75% 218.825000 36.525000 45.100000 212.311848 17.400000
## max 296.400000 49.600000 114.000000 358.247042 27.000000datos## TV Radio Newspaper Web Sales
## 0 230.1 37.8 69.2 306.634752 22.1
## 1 44.5 39.3 45.1 302.653070 10.4
## 2 17.2 45.9 69.3 49.498908 9.3
## 3 151.5 41.3 58.5 257.816893 18.5
## 4 180.8 10.8 58.4 195.660076 12.9
## .. ... ... ... ... ...
## 195 38.2 3.7 13.8 248.841073 7.6
## 196 94.2 4.9 8.1 118.041856 9.7
## 197 177.0 9.3 6.4 213.274671 12.8
## 198 283.6 42.0 66.2 237.498063 25.5
## 199 232.1 8.6 8.7 151.990733 13.4
##
## [200 rows x 5 columns]Datos de entrenamiento y datos de validación
Se utiliza semilla 2022 (random_state=2022)
La función train_test_split() parte los datos originales el 70% y 30% para datos de entrenamiento y validación y con el argumento datos.drop(columns = “Sales”), datos[‘Sales’] solo incluye las variables independientes; la semilla de aleatoriedad es 2022.
X_entrena, X_valida, Y_entrena, Y_valida = train_test_split(datos.drop(columns = "Sales"), datos['Sales'],train_size=.70, random_state=1301)Datos de entrenamiento
print("Estructura de datos de entrenamiento... ", X_entrena.shape)## Estructura de datos de entrenamiento... (140, 4)print(X_entrena)## TV Radio Newspaper Web
## 50 199.8 3.1 34.6 151.990733
## 93 250.9 36.5 72.3 202.102158
## 124 229.5 32.3 74.2 88.080721
## 134 36.9 38.6 65.6 81.246748
## 143 104.6 5.7 34.4 336.571095
## .. ... ... ... ...
## 177 170.2 7.8 35.2 104.917344
## 81 239.8 4.1 36.9 169.946395
## 180 156.6 2.6 8.3 122.116470
## 110 225.8 8.2 56.5 95.185762
## 171 164.5 20.9 47.4 96.180391
##
## [140 rows x 4 columns]print(X_entrena[['TV']], X_entrena[['Radio']], X_entrena[['Newspaper']], X_entrena[['Web']])## TV
## 50 199.8
## 93 250.9
## 124 229.5
## 134 36.9
## 143 104.6
## .. ...
## 177 170.2
## 81 239.8
## 180 156.6
## 110 225.8
## 171 164.5
##
## [140 rows x 1 columns] Radio
## 50 3.1
## 93 36.5
## 124 32.3
## 134 38.6
## 143 5.7
## .. ...
## 177 7.8
## 81 4.1
## 180 2.6
## 110 8.2
## 171 20.9
##
## [140 rows x 1 columns] Newspaper
## 50 34.6
## 93 72.3
## 124 74.2
## 134 65.6
## 143 34.4
## .. ...
## 177 35.2
## 81 36.9
## 180 8.3
## 110 56.5
## 171 47.4
##
## [140 rows x 1 columns] Web
## 50 151.990733
## 93 202.102158
## 124 88.080721
## 134 81.246748
## 143 336.571095
## .. ...
## 177 104.917344
## 81 169.946395
## 180 122.116470
## 110 95.185762
## 171 96.180391
##
## [140 rows x 1 columns]Modelo de Árbol de Regresión
Se construye el modelo de árbol de regresión.
La clase DecisionTreeRegressor del módulo sklearn.tree permite entrenar árboles de decisión para problemas de regresión.
Algunos parámetros de la función serían los siguientes:
max_depth: profundidad máxima que puede alcanzar el árbol.
min_samples_split: número mínimo de observaciones que debe de tener un nodo para que pueda dividirse. Si es un valor decimal se interpreta como fracción del total de observaciones de entrenamiento ceil(min_samples_split * n_samples).
min_samples_leaf: número mínimo de observaciones que debe de tener cada uno de los nodos hijos para que se produzca la división. Si es un valor decimal se interpreta como fracción del total de observaciones de entrenamiento ceil(min_samples_split * n_samples).
max_leaf_nodes: número máximo de nodos terminales.
random_state: semilla para que los resultados sean reproducibles. Tiene que ser un valor entero. (Amat 2020)
modelo_ar = DecisionTreeRegressor(
max_depth = 3,
random_state = 1301
)Utilizar los datos de entrenamiento (X_entrena y Y_entrena) con el modelo de árbol de regresión.
modelo_ar.fit(X_entrena, Y_entrena)## DecisionTreeRegressor(max_depth=3, random_state=1301)Visualización del modelo
Toda vez creado el modelo, se puede representar mediante la combinación de las funciones plot_tree() y export_text().
La función plot_tree() dibuja la estructura del árbol y muestra el número de observaciones y valor medio de la variable respuesta en cada nodo.
La función export_text() representa esta misma información en formato texto. (Amat 2020).
fig, ax = plt.subplots(figsize=(12, 5))
print(f"Profundidad del árbol: {modelo_ar.get_depth()}")## Profundidad del árbol: 3print(f"Número de nodos terminales: {modelo_ar.get_n_leaves()}")## Número de nodos terminales: 8plot = plot_tree(
decision_tree = modelo_ar,
feature_names = datos.drop(columns = "Sales").columns,
class_names = 'Sales',
filled = True,
impurity = False,
fontsize = 10,
precision = 2,
ax = ax
)
plot
texto_modelo = export_text(
decision_tree = modelo_ar,
feature_names = list(datos.drop(columns = "Sales").columns)
)
print(texto_modelo)## |--- TV <= 108.60
## | |--- TV <= 29.50
## | | |--- TV <= 15.00
## | | | |--- value: [6.06]
## | | |--- TV > 15.00
## | | | |--- value: [7.45]
## | |--- TV > 29.50
## | | |--- Radio <= 42.30
## | | | |--- value: [10.56]
## | | |--- Radio > 42.30
## | | | |--- value: [14.55]
## |--- TV > 108.60
## | |--- Radio <= 26.85
## | | |--- Radio <= 10.05
## | | | |--- value: [11.84]
## | | |--- Radio > 10.05
## | | | |--- value: [14.97]
## | |--- Radio > 26.85
## | | |--- TV <= 180.95
## | | | |--- value: [17.00]
## | | |--- TV > 180.95
## | | | |--- value: [21.65]Predicciones
La importancia de cada predictor en modelo se calcula como la reducción total (normalizada) en el criterio de división, en este caso el mse, que consigue el predictor en las divisiones en las que participa. Si un predictor no ha sido seleccionado en ninguna divisón, no se ha incluido en el modelo y por lo tanto su importancia es 0. (Amat 2020).
Evaluar predictores
importancia_predictores = pd.DataFrame(
{'predictor': datos.drop(columns = "Sales").columns,
'importancia': modelo_ar.feature_importances_}
)
print("Importancia de los predictores en el modelo")## Importancia de los predictores en el modeloimportancia_predictores.sort_values('importancia', ascending=False)## predictor importancia
## 0 TV 0.582901
## 1 Radio 0.417099
## 2 Newspaper 0.000000
## 3 Web 0.000000Se hacen predicciones con los datos de validación usando el modelo de árbol de predicción.
predicciones = modelo_ar.predict(X = X_valida)RMSE
rmse Root Mean Stándard Error (Root-mean-square deviation), este valor normalmente se compara contra otro modelo y el que esté mas cerca de cero es mejor.
La raiz del Error Cuadrático Medio (rmse) es una métrica que dice qué tan lejos están los valores predichos de los valores observados o reales en un análisis de regresión, en promedio. Se calcula como:
rmse=∑(predichoi−reali)2n−−−−−−−−−−−−−−−−−−√
RMSE es una forma útil de ver qué tan bien un modelo de regresión puede ajustarse a un conjunto de datos.
Cuanto mayor sea el rmse, mayor será la diferencia entre los valores predichos y reales, lo que significa que peor se ajusta un modelo de regresión a los datos. Por el contrario, cuanto más pequeño sea el rmse, mejor podrá un modelo ajustar los datos.
rmse = mean_squared_error(
y_true = Y_valida,
y_pred = predicciones,
squared = False
)
print(f"El error (rmse) de test es: {rmse}")## El error (rmse) de test es: 1.9391624004009553print('Mean Squared Error: MSE', metrics.mean_squared_error(Y_valida, predicciones))## Mean Squared Error: MSE 3.7603508151287954print('Root Mean Squared Error RMSE:', np.sqrt(metrics.mean_squared_error(Y_valida, predicciones)))## Root Mean Squared Error RMSE: 1.9391624004009553Visualizar predicciones contra valores reales
Pendiente … …
Predicciones con datos nuevos
Se hacen predicciones con datos nuevos. Pendiente … …
Interpretación
Con este modelo y con estos datos interprete lo siguiente: Con respecto a los resultados arrojados en R, este modelo no es muy indicado para este caso, debido a que R arroja mejores resultados, siendo mucho menores.
¿Cuál es el contexto de los datos? predecir las ventas con datos simulados de una empresa dependiendo de las inversiones realizadas en publicidad.
¿Cuántas observaciones se analizan y cuáles son las variables de interés? se realizan 200 observaciones. Nos interesan las ventas.
¿Cuáles son las variables independientes y dependientes? Son cuatro variables, las variables independientes TV, Radio, Periódico, WEB.
¿Cuál es el porcentaje de datos de entrenamiento y datos de validación ? 70% datos de entrenamiento y 30% de datos de validacion.
¿Cuál es el valor de RMSE y qué significaría este valor? 1.9391624004009553, significa una forma útil de verificar qué tan bien un modelo de regresión puede ajustarse a un conjunto de datos. Proporciona además una mejor forma de encontrar la estimación, en caso de que los errores sean aleatorios o parciales.
¿Puede haber otro modelo más óptimo para estos datos? se tendría que comparar con otros resultados realizados en este mismo modelo para generar una conclusion, sobre si es óptimo o no lo es. En los resultados este modelo no es tan optimo como el generado en R.
¿Que tan confiables son las predicciones con datos nuevos con este modelo y con estos datos? Son aceptables, pero comparadas con los resultados generados en R, este se queda corto.
Comparado con el modelo elaborado en lenguaje R cual tiene menor rmse y qué significa? R arrojó un mejor RMSE, indicando que este modelo y el análisis de esta cantidad de datos es mejor interpretada en el lenguaje R.
Bibliografía
Amat, Rodrigo Joaquín. 2020. “Árboles de Decisión Con Python: Regresión y Clasificación.” https://www.cienciadedatos.net/documentos/py07_arboles_decision_python.html. Hernández, Freddy. 2021. Modelos Predictivos. https://fhernanb.github.io/libro_mod_pred/; Lantz, Brett. 2013. Machine Learning with r. Kindle. XLSTAT by Addinsoft. n.d. “Árboles de Clasificación y Regresión.” https://www.xlstat.com/es/soluciones/funciones/arboles-de-clasificacion-y-de-regresion.