1 Objetivo

Crear y evaluar un modelo de árbol de regresión para predecir las ventas con datos simulados de una empresa dependiendo de las inversiones realizadas en publicidad.

2 Descripción

  • Se utiliza programación Python

  • Cargar librerías y datos

  • Limpiar datos si es necesario

  • Explorar datos

  • Partir los datos en datos de entrenamiento y datos de validación 70% y 30%

  • Crear modelo de regresión con los datos de entrenamiento

  • Predicciones

  • Evaluar predicciones con respecto a datos reales

  • Determinar el estadístico rmse para evaluar con respecto a otros modelos

  • Interpretar el caso

3 Fundamento teórico

Los algoritmos de aprendizaje basados en árbol se consideran uno de los mejores y más utilizados métodos de aprendizaje supervisado. Potencían modelos predictivos con alta precisión, estabilidad y facilidad de interpretación.

Los árboles de clasificación y regresión son métodos que proporcionan modelos que satisfacen objetivos tanto predictivos como explicativos.

Algunas ventajas son su sencillez y la representación gráfica mediante árboles y, por otro, la definición de reglas de asociación entre variables que incluye expresiones de condición que permiten explicar las predicciones.

Se pueden usar para regresiones con variables dependientes que tienen valores numéricos continuos o para clasificaciones con variables categóricas.

Utilizar un árbol de regresión para crear un modelo explicativo y predictivo para una variable cuantitativa dependiente basada en variables explicativas independientes cuantitativas y cualitativas (XLSTAT by Addinsoft, n.d.).

Un árbol de regresión consiste en hacer preguntas de tipo \(¿x_k < c?\) para cada una de las covariables, de esta forma el espacio de las covariables es divido en hiper-rectángulos (con el resultado de las condicionales) de las observaciones que queden dentro de un hiper-rectángulo tendrán el mismo valor estimado \(\hat{y}\) o \(Y\) . (Hernández 2021)

Por otra parte, bajo el paradigma divide y vencerás, usando árboles de regresión y decisión y correspondientes reglas, el árbol representa el modelo similar a un diagrama de flujo en el que los nodos de decisión, los nodos de hoja y las ramas definen una serie de decisiones que se pueden usar para generar predicciones. Siguiendo las reglas se encuentran predicciones en la hoja final. . (Lantz 2013)

4 Desarrollo

Para trabajar con código Python, se deben cargan las librerías de Python previamente instaladas con la función py_install() de la librería reticulate de R.

La función repl_python() se utilizar para ejecutar ventana de comando o shell de Python.

Se recomienda instalar estos paquetes de Python

  • py_install(packages = “pandas”)

  • py_install(packages = “matplotlib”)

  • py_install(packages = “numpy”)

  • py_install(packages = “sklearn”) en R cloud

  • py_install(“scikit-learn”) R Studio local

  • py_install(packages = “statsmodels.api”)

  • py_install(packages = “seaborn”)

  • En terminal de Python se puede actualizar con conda create -n py3.8 python=3.8 scikit-learn pandas numpy matplotlib

4.1 Cargar librerías

library(reticulate)
# Tratamiento de datos
import numpy as np
import pandas as pd

# Gráficos
import matplotlib.pyplot as plt

# Preprocesado y modelado
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegressor
from sklearn.tree import plot_tree
from sklearn.tree import export_graphviz
from sklearn.tree import export_text
from sklearn.model_selection import GridSearchCV
from sklearn import metrics
from sklearn.metrics import mean_squared_error, r2_score

4.2 Cargar datos

datos = pd.read_csv("https://raw.githubusercontent.com/rpizarrog/Analisis-Inteligente-de-datos/main/datos/Advertising_Web.csv")
datos
##      Unnamed: 0    X     TV  Radio  Newspaper         Web  Sales
## 0             1    1  230.1   37.8       69.2  306.634752   22.1
## 1             2    2   44.5   39.3       45.1  302.653070   10.4
## 2             3    3   17.2   45.9       69.3   49.498908    9.3
## 3             4    4  151.5   41.3       58.5  257.816893   18.5
## 4             5    5  180.8   10.8       58.4  195.660076   12.9
## ..          ...  ...    ...    ...        ...         ...    ...
## 195         196  196   38.2    3.7       13.8  248.841073    7.6
## 196         197  197   94.2    4.9        8.1  118.041856    9.7
## 197         198  198  177.0    9.3        6.4  213.274671   12.8
## 198         199  199  283.6   42.0       66.2  237.498063   25.5
## 199         200  200  232.1    8.6        8.7  151.990733   13.4
## 
## [200 rows x 7 columns]

4.3 Explorar datos

print("Observaciones y variables: ", datos.shape)
## Observaciones y variables:  (200, 7)
print("Columnas y tipo de dato")
# datos.columns
## Columnas y tipo de dato
datos.dtypes
## Unnamed: 0      int64
## X               int64
## TV            float64
## Radio         float64
## Newspaper     float64
## Web           float64
## Sales         float64
## dtype: object
datos.info()
## <class 'pandas.core.frame.DataFrame'>
## RangeIndex: 200 entries, 0 to 199
## Data columns (total 7 columns):
##  #   Column      Non-Null Count  Dtype  
## ---  ------      --------------  -----  
##  0   Unnamed: 0  200 non-null    int64  
##  1   X           200 non-null    int64  
##  2   TV          200 non-null    float64
##  3   Radio       200 non-null    float64
##  4   Newspaper   200 non-null    float64
##  5   Web         200 non-null    float64
##  6   Sales       200 non-null    float64
## dtypes: float64(5), int64(2)
## memory usage: 11.1 KB

Se describen las variables independientes: TV, Radio Newpaper y la variable dependiente Sales.

Valor de etiqueta o variable objetivo deendiente(ventas): que significa el volumen de ventas del producto correspondiente

Las variables independientes: (TV, Radio, Periódico, WEB):

  • TV: son los costos de la publicidad en TV (en miles)

  • Radio: costos de publicidad invertidos en medios de difusión radio;

  • Newspaper Periódico: costos publicitarios para medios impresos.

  • Web: Costos de publicidad invertidos en herramientas digitales.

4.4 Limpiar datos

Quitar las primeras columnas y dejar TV Radio NewsPaper Web y Sales

datos = datos[['TV','Radio', 'Newspaper', 'Web', 'Sales']]
datos.describe()

##                TV       Radio   Newspaper         Web       Sales
## count  200.000000  200.000000  200.000000  200.000000  200.000000
## mean   147.042500   23.264000   30.554000  159.587355   14.022500
## std     85.854236   14.846809   21.778621   76.815266    5.217457
## min      0.700000    0.000000    0.300000    4.308085    1.600000
## 25%     74.375000    9.975000   12.750000   99.048767   10.375000
## 50%    149.750000   22.900000   25.750000  156.862154   12.900000
## 75%    218.825000   36.525000   45.100000  212.311848   17.400000
## max    296.400000   49.600000  114.000000  358.247042   27.000000
datos
##         TV  Radio  Newspaper         Web  Sales
## 0    230.1   37.8       69.2  306.634752   22.1
## 1     44.5   39.3       45.1  302.653070   10.4
## 2     17.2   45.9       69.3   49.498908    9.3
## 3    151.5   41.3       58.5  257.816893   18.5
## 4    180.8   10.8       58.4  195.660076   12.9
## ..     ...    ...        ...         ...    ...
## 195   38.2    3.7       13.8  248.841073    7.6
## 196   94.2    4.9        8.1  118.041856    9.7
## 197  177.0    9.3        6.4  213.274671   12.8
## 198  283.6   42.0       66.2  237.498063   25.5
## 199  232.1    8.6        8.7  151.990733   13.4
## 
## [200 rows x 5 columns]

4.5 Datos de entrenamiento y datos de validación

Se utiliza semilla 2022 (random_state=2022)

La función train_test_split() parte los datos originales el 70% y 30% para datos de entrenamiento y validación y con el argumento datos.drop(columns = “Sales”), datos[‘Sales’] solo incluye las variables independientes; la semilla de aleatoriedad es 2022.

X_entrena, X_valida, Y_entrena, Y_valida = train_test_split(datos.drop(columns = "Sales"), datos['Sales'],train_size=.70,  random_state=2022)

4.5.1 Datos de entrenamiento

print("Estructura de datos de entrenamiento... ", X_entrena.shape)
## Estructura de datos de entrenamiento...  (140, 4)
print(X_entrena)
##         TV  Radio  Newspaper         Web
## 51   100.4    9.6        3.6   41.335255
## 101  296.4   36.3      100.9   61.005251
## 85   193.2   18.4       65.7  223.578793
## 193  166.8   42.0        3.6  192.246211
## 5      8.7   48.9       75.0   22.072395
## ..     ...    ...        ...         ...
## 183  287.6   43.0       71.8  154.309725
## 177  170.2    7.8       35.2  104.917344
## 112  175.7   15.4        2.4   71.682551
## 173  168.4    7.1       12.8  218.180829
## 125   87.2   11.8       25.9  121.090982
## 
## [140 rows x 4 columns]
print(X_entrena[['TV']], X_entrena[['Radio']], X_entrena[['Newspaper']], X_entrena[['Web']])
##         TV
## 51   100.4
## 101  296.4
## 85   193.2
## 193  166.8
## 5      8.7
## ..     ...
## 183  287.6
## 177  170.2
## 112  175.7
## 173  168.4
## 125   87.2
## 
## [140 rows x 1 columns]      Radio
## 51     9.6
## 101   36.3
## 85    18.4
## 193   42.0
## 5     48.9
## ..     ...
## 183   43.0
## 177    7.8
## 112   15.4
## 173    7.1
## 125   11.8
## 
## [140 rows x 1 columns]      Newspaper
## 51         3.6
## 101      100.9
## 85        65.7
## 193        3.6
## 5         75.0
## ..         ...
## 183       71.8
## 177       35.2
## 112        2.4
## 173       12.8
## 125       25.9
## 
## [140 rows x 1 columns]             Web
## 51    41.335255
## 101   61.005251
## 85   223.578793
## 193  192.246211
## 5     22.072395
## ..          ...
## 183  154.309725
## 177  104.917344
## 112   71.682551
## 173  218.180829
## 125  121.090982
## 
## [140 rows x 1 columns]

4.6 Modelo de Árbol de Regresión

Se construye el modelo de árbol de regresión.

La clase DecisionTreeRegressor del módulo sklearn.tree permite entrenar árboles de decisión para problemas de regresión.

Algunos parámetros de la función serían los siguientes:

  • max_depth: profundidad máxima que puede alcanzar el árbol.

  • min_samples_split: número mínimo de observaciones que debe de tener un nodo para que pueda dividirse. Si es un valor decimal se interpreta como fracción del total de observaciones de entrenamiento ceil(min_samples_split * n_samples).

  • min_samples_leaf: número mínimo de observaciones que debe de tener cada uno de los nodos hijos para que se produzca la división. Si es un valor decimal se interpreta como fracción del total de observaciones de entrenamiento ceil(min_samples_split * n_samples).

  • max_leaf_nodes: número máximo de nodos terminales.

  • random_state: semilla para que los resultados sean reproducibles. Tiene que ser un valor entero. (Amat 2020)

modelo_ar = DecisionTreeRegressor(
            max_depth         = 3,
            random_state      = 2022
          )

Utilizar los datos de entrenamiento (X_entrena y Y_entrena) con el modelo de árbol de regresión.

modelo_ar.fit(X_entrena, Y_entrena)
## DecisionTreeRegressor(max_depth=3, random_state=2022)

4.6.1 Visualización del modelo

Toda vez creado el modelo, se puede representar mediante la combinación de las funciones plot_tree() y export_text().

La función plot_tree() dibuja la estructura del árbol y muestra el número de observaciones y valor medio de la variable respuesta en cada nodo.

La función export_text() representa esta misma información en formato texto. (Amat 2020).

fig, ax = plt.subplots(figsize=(12, 5))

print(f"Profundidad del árbol: {modelo_ar.get_depth()}")
## Profundidad del árbol: 3
print(f"Número de nodos terminales: {modelo_ar.get_n_leaves()}")
## Número de nodos terminales: 8
plot = plot_tree(
            decision_tree = modelo_ar,
            feature_names = datos.drop(columns = "Sales").columns,
            class_names   = 'Sales',
            filled        = True,
            impurity      = False,
            fontsize      = 10,
            precision     = 2,
            ax            = ax
       )

plot

texto_modelo = export_text(
                    decision_tree = modelo_ar,
                    feature_names = list(datos.drop(columns = "Sales").columns)
               )
print(texto_modelo)
## |--- TV <= 123.35
## |   |--- TV <= 30.05
## |   |   |--- Newspaper <= 9.00
## |   |   |   |--- value: [2.40]
## |   |   |--- Newspaper >  9.00
## |   |   |   |--- value: [7.47]
## |   |--- TV >  30.05
## |   |   |--- Radio <= 26.70
## |   |   |   |--- value: [10.47]
## |   |   |--- Radio >  26.70
## |   |   |   |--- value: [13.10]
## |--- TV >  123.35
## |   |--- Radio <= 26.85
## |   |   |--- Radio <= 10.30
## |   |   |   |--- value: [11.85]
## |   |   |--- Radio >  10.30
## |   |   |   |--- value: [15.33]
## |   |--- Radio >  26.85
## |   |   |--- TV <= 193.25
## |   |   |   |--- value: [17.90]
## |   |   |--- TV >  193.25
## |   |   |   |--- value: [21.98]

4.7 Predicciones

La importancia de cada predictor en modelo se calcula como la reducción total (normalizada) en el criterio de división, en este caso el mse, que consigue el predictor en las divisiones en las que participa. Si un predictor no ha sido seleccionado en ninguna divisón, no se ha incluido en el modelo y por lo tanto su importancia es 0. (Amat 2020).

4.7.1 Evaluar predictores

importancia_predictores = pd.DataFrame(
                            {'predictor': datos.drop(columns = "Sales").columns,
                             'importancia': modelo_ar.feature_importances_}
                            )
print("Importancia de los predictores en el modelo")
## Importancia de los predictores en el modelo
importancia_predictores.sort_values('importancia', ascending=False)
##    predictor  importancia
## 0         TV     0.635586
## 1      Radio     0.350312
## 2  Newspaper     0.014102
## 3        Web     0.000000

Se hacen predicciones con los datos de validación usando el modelo de árbol de predicción.

predicciones = modelo_ar.predict(X = X_valida)

4.7.2 RMSE

rmse Root Mean Stándard Error (Root-mean-square deviation), este valor normalmente se compara contra otro modelo y el que esté mas cerca de cero es mejor.

La raiz del Error Cuadrático Medio (rmse) es una métrica que dice qué tan lejos están los valores predichos de los valores observados o reales en un análisis de regresión, en promedio. Se calcula como:

\[ rmse = \sqrt{\frac{\sum(predicho_i - real_i)^{2}}{n}} \]

RMSE es una forma útil de ver qué tan bien un modelo de regresión puede ajustarse a un conjunto de datos.

Cuanto mayor sea el rmse, mayor será la diferencia entre los valores predichos y reales, lo que significa que peor se ajusta un modelo de regresión a los datos. Por el contrario, cuanto más pequeño sea el rmse, mejor podrá un modelo ajustar los datos.

rmse = mean_squared_error(
        y_true  = Y_valida,
        y_pred  = predicciones,
        squared = False
       )
print(f"El error (rmse) de test es: {rmse}")
## El error (rmse) de test es: 1.9103009262655137
print('Mean Squared Error: MSE', metrics.mean_squared_error(Y_valida, predicciones))
## Mean Squared Error: MSE 3.6492496288908796
print('Root Mean Squared Error RMSE:', np.sqrt(metrics.mean_squared_error(Y_valida, predicciones)))
## Root Mean Squared Error RMSE: 1.9103009262655137

4.8 Visualizar predicciones contra valores reales

Pendiente … …

4.9 Predicciones con datos nuevos

Se hacen predicciones con datos nuevos. Pendiente … …

5 Interpretación

Pendiente …

Con este modelo y con estos datos interprete lo siguiente:

  • ¿Cuál es el contexto de los datos?

  • ¿Cuántas observaciones se analizan y cuáles son las variables de interés?

  • ¿Cuáles son las variables independientes y dependientes?

  • ¿Cuál es el porcentaje de datos de entrenamiento y datos de validación ?

    ¿Cuál es el valor de RMSE y qué significaría este valor

  • ¿Puede haber otro modelo más óptimo para estos datos?

  • ¿Que tan confiables son las predicciones con datos nuevos con este modelo y con estos datos?

  • Comparado con el modelo elaborado en lenguaje R cual tiene menor rmse y qué significa?

Bibliografía

Amat, Rodrigo Joaquín. 2020. “Árboles de Decisión Con Python: Regresión y Clasificación.” https://www.cienciadedatos.net/documentos/py07_arboles_decision_python.html.
Hernández, Freddy. 2021. Modelos Predictivos. https://fhernanb.github.io/libro_mod_pred/;
Lantz, Brett. 2013. Machine Learning with r. Kindle.
XLSTAT by Addinsoft. n.d. “Árboles de Clasificación y Regresión.” https://www.xlstat.com/es/soluciones/funciones/arboles-de-clasificacion-y-de-regresion.