1 Objetivo

Crear y evaluar un modelo de árbol de regresión para predecir las ventas con datos simulados de una empresa dependiendo de las inversiones realizadas en publicidad.

2 Descripción

  • Se utiliza programación Python

  • Cargar librerías y datos

  • Limpiar datos si es necesario

  • Explorar datos

  • Partir los datos en datos de entrenamiento y datos de validación 70% y 30%

  • Crear modelo de regresión con los datos de entrenamiento

  • Predicciones

  • Evaluar predicciones con respecto a datos reales

  • Determinar el estadístico rmse para evaluar con respecto a otros modelos

  • Interpretar el caso

3 Fundamento teórico

Los algoritmos de aprendizaje basados en árbol se consideran uno de los mejores y más utilizados métodos de aprendizaje supervisado. Potencían modelos predictivos con alta precisión, estabilidad y facilidad de interpretación.

Los árboles de clasificación y regresión son métodos que proporcionan modelos que satisfacen objetivos tanto predictivos como explicativos.

Algunas ventajas son su sencillez y la representación gráfica mediante árboles y, por otro, la definición de reglas de asociación entre variables que incluye expresiones de condición que permiten explicar las predicciones.

Se pueden usar para regresiones con variables dependientes que tienen valores numéricos continuos o para clasificaciones con variables categóricas.

Utilizar un árbol de regresión para crear un modelo explicativo y predictivo para una variable cuantitativa dependiente basada en variables explicativas independientes cuantitativas y cualitativas [@xlstatbyaddinsoft].

Un árbol de regresión consiste en hacer preguntas de tipo \(¿x_k < c?\) para cada una de las covariables, de esta forma el espacio de las covariables es divido en hiper-rectángulos (con el resultado de las condicionales) de las observaciones que queden dentro de un hiper-rectángulo tendrán el mismo valor estimado \(\hat{y}\) o \(Y\) . [@hernández2021]

Por otra parte, bajo el paradigma divide y vencerás, usando árboles de regresión y decisión y correspondientes reglas, el árbol representa el modelo similar a un diagrama de flujo en el que los nodos de decisión, los nodos de hoja y las ramas definen una serie de decisiones que se pueden usar para generar predicciones. Siguiendo las reglas se encuentran predicciones en la hoja final. . [@lantz2013]

4 Desarrollo

Para trabajar con código Python, se deben cargan las librerías de Python previamente instaladas con la función py_install() de la librería reticulate de R.

La función repl_python() se utilizar para ejecutar ventana de comando o shell de Python.

Se recomienda instalar estos paquetes de Python

  • py_install(packages = “pandas”)

  • py_install(packages = “matplotlib”)

  • py_install(packages = “numpy”)

  • py_install(packages = “sklearn”) en R cloud

  • py_install(“scikit-learn”) R Studio local

  • py_install(packages = “statsmodels.api”)

  • py_install(packages = “seaborn”)

  • En terminal de Python se puede actualizar con conda create -n py3.8 python=3.8 scikit-learn pandas numpy matplotlib

4.1 Cargar librerías

library(reticulate)
# Tratamiento de datos
import numpy as np
import pandas as pd
# Gráficos
import matplotlib.pyplot as plt
# Preprocesado y modelado
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegressor
from sklearn.tree import plot_tree
from sklearn.tree import export_graphviz
from sklearn.tree import export_text
from sklearn.model_selection import GridSearchCV
from sklearn import metrics
from sklearn.metrics import mean_squared_error, r2_score

4.2 Cargar datos

datos = pd.read_csv("https://raw.githubusercontent.com/rpizarrog/Analisis-Inteligente-de-datos/main/datos/Advertising_Web.csv")
datos
##      Unnamed: 0    X     TV  Radio  Newspaper         Web  Sales
## 0             1    1  230.1   37.8       69.2  306.634752   22.1
## 1             2    2   44.5   39.3       45.1  302.653070   10.4
## 2             3    3   17.2   45.9       69.3   49.498908    9.3
## 3             4    4  151.5   41.3       58.5  257.816893   18.5
## 4             5    5  180.8   10.8       58.4  195.660076   12.9
## ..          ...  ...    ...    ...        ...         ...    ...
## 195         196  196   38.2    3.7       13.8  248.841073    7.6
## 196         197  197   94.2    4.9        8.1  118.041856    9.7
## 197         198  198  177.0    9.3        6.4  213.274671   12.8
## 198         199  199  283.6   42.0       66.2  237.498063   25.5
## 199         200  200  232.1    8.6        8.7  151.990733   13.4
## 
## [200 rows x 7 columns]

4.3 Explorar datos

print("Observaciones y variables: ", datos.shape)
## Observaciones y variables:  (200, 7)
print("Columnas y tipo de dato")
# datos.columns
## Columnas y tipo de dato
datos.dtypes
## Unnamed: 0      int64
## X               int64
## TV            float64
## Radio         float64
## Newspaper     float64
## Web           float64
## Sales         float64
## dtype: object
datos.info()
## <class 'pandas.core.frame.DataFrame'>
## RangeIndex: 200 entries, 0 to 199
## Data columns (total 7 columns):
##  #   Column      Non-Null Count  Dtype  
## ---  ------      --------------  -----  
##  0   Unnamed: 0  200 non-null    int64  
##  1   X           200 non-null    int64  
##  2   TV          200 non-null    float64
##  3   Radio       200 non-null    float64
##  4   Newspaper   200 non-null    float64
##  5   Web         200 non-null    float64
##  6   Sales       200 non-null    float64
## dtypes: float64(5), int64(2)
## memory usage: 11.1 KB

Se describen las variables independientes: TV, Radio Newpaper y la variable dependiente Sales.

Valor de etiqueta o variable objetivo deendiente(ventas): que significa el volumen de ventas del producto correspondiente

Las variables independientes: (TV, Radio, Periódico, WEB):

  • TV: son los costos de la publicidad en TV (en miles)

  • Radio: costos de publicidad invertidos en medios de difusión radio;

  • Newspaper Periódico: costos publicitarios para medios impresos.

  • Web: Costos de publicidad invertidos en herramientas digitales.

4.4 Limpiar datos

Quitar las primeras columnas y dejar TV Radio NewsPaper Web y Sales

datos = datos[['TV','Radio', 'Newspaper', 'Web', 'Sales']]
datos.describe()
##                TV       Radio   Newspaper         Web       Sales
## count  200.000000  200.000000  200.000000  200.000000  200.000000
## mean   147.042500   23.264000   30.554000  159.587355   14.022500
## std     85.854236   14.846809   21.778621   76.815266    5.217457
## min      0.700000    0.000000    0.300000    4.308085    1.600000
## 25%     74.375000    9.975000   12.750000   99.048767   10.375000
## 50%    149.750000   22.900000   25.750000  156.862154   12.900000
## 75%    218.825000   36.525000   45.100000  212.311848   17.400000
## max    296.400000   49.600000  114.000000  358.247042   27.000000
datos
##         TV  Radio  Newspaper         Web  Sales
## 0    230.1   37.8       69.2  306.634752   22.1
## 1     44.5   39.3       45.1  302.653070   10.4
## 2     17.2   45.9       69.3   49.498908    9.3
## 3    151.5   41.3       58.5  257.816893   18.5
## 4    180.8   10.8       58.4  195.660076   12.9
## ..     ...    ...        ...         ...    ...
## 195   38.2    3.7       13.8  248.841073    7.6
## 196   94.2    4.9        8.1  118.041856    9.7
## 197  177.0    9.3        6.4  213.274671   12.8
## 198  283.6   42.0       66.2  237.498063   25.5
## 199  232.1    8.6        8.7  151.990733   13.4
## 
## [200 rows x 5 columns]

4.5 Datos de entrenamiento y datos de validación

Se utiliza semilla 1321 (random_state=1321)

La función train_test_split() parte los datos originales el 70% y 30% para datos de entrenamiento y validación y con el argumento datos.drop(columns = “Sales”), datos[‘Sales’] solo incluye las variables independientes; la semilla de aleatoriedad es 1321.

X_entrena, X_valida, Y_entrena, Y_valida = train_test_split(datos.drop(columns = "Sales"), datos['Sales'],train_size=.70,  random_state=1321)

4.5.1 Datos de entrenamiento

print("Estructura de datos de entrenamiento... ", X_entrena.shape)
## Estructura de datos de entrenamiento...  (140, 4)
print(X_entrena)
##         TV  Radio  Newspaper         Web
## 129   59.6   12.0       43.1  197.196554
## 191   75.5   10.8        6.0  301.481194
## 152  197.6   23.3       14.2  159.522559
## 139  184.9   43.9        1.7  106.253829
## 86    76.3   27.5       16.0  193.830894
## ..     ...    ...        ...         ...
## 91    28.6    1.5       33.0  172.467947
## 56     7.3   28.1       41.4  121.328525
## 161   85.7   35.8       49.3  188.933530
## 106   25.0   11.0       29.7   15.938208
## 194  149.7   35.6        6.0   99.579981
## 
## [140 rows x 4 columns]
print(X_entrena[['TV']], X_entrena[['Radio']], X_entrena[['Newspaper']], X_entrena[['Web']])
##         TV
## 129   59.6
## 191   75.5
## 152  197.6
## 139  184.9
## 86    76.3
## ..     ...
## 91    28.6
## 56     7.3
## 161   85.7
## 106   25.0
## 194  149.7
## 
## [140 rows x 1 columns]      Radio
## 129   12.0
## 191   10.8
## 152   23.3
## 139   43.9
## 86    27.5
## ..     ...
## 91     1.5
## 56    28.1
## 161   35.8
## 106   11.0
## 194   35.6
## 
## [140 rows x 1 columns]      Newspaper
## 129       43.1
## 191        6.0
## 152       14.2
## 139        1.7
## 86        16.0
## ..         ...
## 91        33.0
## 56        41.4
## 161       49.3
## 106       29.7
## 194        6.0
## 
## [140 rows x 1 columns]             Web
## 129  197.196554
## 191  301.481194
## 152  159.522559
## 139  106.253829
## 86   193.830894
## ..          ...
## 91   172.467947
## 56   121.328525
## 161  188.933530
## 106   15.938208
## 194   99.579981
## 
## [140 rows x 1 columns]

4.6 Modelo de Árbol de Regresión

Se construye el modelo de árbol de regresión.

La clase DecisionTreeRegressor del módulo sklearn.tree permite entrenar árboles de decisión para problemas de regresión.

Algunos parámetros de la función serían los siguientes:

  • max_depth: profundidad máxima que puede alcanzar el árbol.

  • min_samples_split: número mínimo de observaciones que debe de tener un nodo para que pueda dividirse. Si es un valor decimal se interpreta como fracción del total de observaciones de entrenamiento ceil(min_samples_split * n_samples).

  • min_samples_leaf: número mínimo de observaciones que debe de tener cada uno de los nodos hijos para que se produzca la división. Si es un valor decimal se interpreta como fracción del total de observaciones de entrenamiento ceil(min_samples_split * n_samples).

  • max_leaf_nodes: número máximo de nodos terminales.

  • random_state: semilla para que los resultados sean reproducibles. Tiene que ser un valor entero. [@amat2020]

modelo_ar = DecisionTreeRegressor(
            max_depth         = 3,
            random_state      = 2022
          )

Utilizar los datos de entrenamiento (X_entrena y Y_entrena) con el modelo de árbol de regresión.

modelo_ar.fit(X_entrena, Y_entrena)
DecisionTreeRegressor(max_depth=3, random_state=2022)
In a Jupyter environment, please rerun this cell to show the HTML representation or trust the notebook.
On GitHub, the HTML representation is unable to render, please try loading this page with nbviewer.org.

4.6.1 Visualización del modelo

Toda vez creado el modelo, se puede representar mediante la combinación de las funciones plot_tree() y export_text().

La función plot_tree() dibuja la estructura del árbol y muestra el número de observaciones y valor medio de la variable respuesta en cada nodo.

La función export_text() representa esta misma información en formato texto. [@amat2020].

fig, ax = plt.subplots(figsize=(12, 5))
print(f"Profundidad del árbol: {modelo_ar.get_depth()}")
## Profundidad del árbol: 3
print(f"Número de nodos terminales: {modelo_ar.get_n_leaves()}")
## Número de nodos terminales: 8
plot = plot_tree(
            decision_tree = modelo_ar,
            feature_names = datos.drop(columns = "Sales").columns,
            class_names   = 'Sales',
            filled        = True,
            impurity      = False,
            fontsize      = 10,
            precision     = 2,
            ax            = ax
       )
plot

texto_modelo = export_text(
                    decision_tree = modelo_ar,
                    feature_names = list(datos.drop(columns = "Sales").columns)
               )
print(texto_modelo)
## |--- TV <= 170.75
## |   |--- TV <= 32.75
## |   |   |--- Newspaper <= 9.00
## |   |   |   |--- value: [3.83]
## |   |   |--- Newspaper >  9.00
## |   |   |   |--- value: [7.53]
## |   |--- TV >  32.75
## |   |   |--- Radio <= 13.15
## |   |   |   |--- value: [10.03]
## |   |   |--- Radio >  13.15
## |   |   |   |--- value: [13.13]
## |--- TV >  170.75
## |   |--- Radio <= 25.75
## |   |   |--- Radio <= 9.95
## |   |   |   |--- value: [12.19]
## |   |   |--- Radio >  9.95
## |   |   |   |--- value: [15.87]
## |   |--- Radio >  25.75
## |   |   |--- Radio <= 35.85
## |   |   |   |--- value: [19.37]
## |   |   |--- Radio >  35.85
## |   |   |   |--- value: [23.06]

4.7 Predicciones

La importancia de cada predictor en modelo se calcula como la reducción total (normalizada) en el criterio de división, en este caso el mse, que consigue el predictor en las divisiones en las que participa. Si un predictor no ha sido seleccionado en ninguna divisón, no se ha incluido en el modelo y por lo tanto su importancia es 0. [@amat2020].

4.7.1 Evaluar predictores

importancia_predictores = pd.DataFrame(
                            {'predictor': datos.drop(columns = "Sales").columns,
                             'importancia': modelo_ar.feature_importances_}
                            )
print("Importancia de los predictores en el modelo")
## Importancia de los predictores en el modelo
importancia_predictores.sort_values('importancia', ascending=False)
##    predictor  importancia
## 0         TV     0.649588
## 1      Radio     0.338223
## 2  Newspaper     0.012190
## 3        Web     0.000000

Se hacen predicciones con los datos de validación usando el modelo de árbol de predicción.

predicciones = modelo_ar.predict(X = X_valida)

4.7.2 RMSE

rmse Root Mean Stándard Error (Root-mean-square deviation), este valor normalmente se compara contra otro modelo y el que esté mas cerca de cero es mejor.

La raiz del Error Cuadrático Medio (rmse) es una métrica que dice qué tan lejos están los valores predichos de los valores observados o reales en un análisis de regresión, en promedio. Se calcula como:

\[ rmse = \sqrt{\frac{\sum(predicho_i - real_i)^{2}}{n}} \]

RMSE es una forma útil de ver qué tan bien un modelo de regresión puede ajustarse a un conjunto de datos.

Cuanto mayor sea el rmse, mayor será la diferencia entre los valores predichos y reales, lo que significa que peor se ajusta un modelo de regresión a los datos. Por el contrario, cuanto más pequeño sea el rmse, mejor podrá un modelo ajustar los datos.

rmse = mean_squared_error(
        y_true  = Y_valida,
        y_pred  = predicciones,
        squared = False
       )
print(f"El error (rmse) de test es: {rmse}")
## El error (rmse) de test es: 2.18734458445518
print('Mean Squared Error: MSE', metrics.mean_squared_error(Y_valida, predicciones))
## Mean Squared Error: MSE 4.784476331145404
print('Root Mean Squared Error RMSE:', np.sqrt(metrics.mean_squared_error(Y_valida, predicciones)))
## Root Mean Squared Error RMSE: 2.18734458445518

4.8 Visualizar predicciones contra valores reales

Pendiente … …

4.9 Predicciones con datos nuevos

Se hacen predicciones con datos nuevos. Pendiente … …

5 Interpretación

Pendiente …

Con este modelo y con estos datos interprete lo siguiente:

  • ¿Cuál es el contexto de los datos? Crear y evaluar un modelo de árbol de regresión para predecir las ventas con datos simulados de una empresa dependiendo de las inversiones realizadas en publicidad.

  • ¿Cuántas observaciones se analizan y cuáles son las variables de interés? 200 observaciones y 7 variables quue serían 0, X, TV, Radio, Newspaper, Web y Sales.

  • ¿Cuáles son las variables independientes y dependientes? Se describen las variables independientes: TV, Radio Newpaper y la variable dependiente Sales.

  • ¿Cuál es el porcentaje de datos de entrenamiento y datos de validación ? Se utiliza semilla 1321 (random_state=1321 La función train_test_split() parte los datos originales el 70% y 30% para datos de entrenamiento y validación y con el argumento datos.drop(columns = “Sales”), datos[‘Sales’] solo incluye las variables independientes; la semilla de aleatoriedad es 1321.

  • ¿Cuál es el valor de RMSE y qué significaría este valor Root Mean Squared Error RMSE: 2.18734458445518 Cuanto mayor sea el rmse, mayor será la diferencia entre los valores predichos y reales, lo que significa que peor se ajusta un modelo de regresión a los datos. Por el contrario, cuanto más pequeño sea el rmse, mejor podrá un modelo ajustar los datos.

  • ¿Puede haber otro modelo más óptimo para estos datos? Si el modelo de regresion lineal

  • ¿Que tan confiables son las predicciones con datos nuevos con este modelo y con estos datos? La predicción que se realiza es mas cercana debido a que se ha realizado un analisis de los datos.

  • Comparado con el modelo elaborado en lenguaje R cual tiene menor rmse y qué significa? En lenguaje r es mejor, debido a que el valor es mas bajo

6 Bibliografía