Objetivo

Crear y evaluar un modelo de árbol de regresión para predecir las ventas con datos simulados de una empresa dependiendo de las inversiones realizadas en publicidad.

Descripción

Se utiliza programación Python
Cargar librerías y datos
Limpiar datos si es necesario
Explorar datos
Partir los datos en datos de entrenamiento y datos de validación 70% y 30%
Crear modelo de regresión con los datos de entrenamiento
Predicciones
Evaluar predicciones con respecto a datos reales
Determinar el estadístico rmse para evaluar con respecto a otros modelos
Interpretar el caso

Fundamento teórico

Los algoritmos de aprendizaje basados en árbol se consideran uno de los mejores y más utilizados métodos de aprendizaje supervisado. Potencían modelos predictivos con alta precisión, estabilidad y facilidad de interpretación.

Los árboles de clasificación y regresión son métodos que proporcionan modelos que satisfacen objetivos tanto predictivos como explicativos.

Algunas ventajas son su sencillez y la representación gráfica mediante árboles y, por otro, la definición de reglas de asociación entre variables que incluye expresiones de condición que permiten explicar las predicciones.

Se pueden usar para regresiones con variables dependientes que tienen valores numéricos continuos o para clasificaciones con variables categóricas.

Utilizar un árbol de regresión para crear un modelo explicativo y predictivo para una variable cuantitativa dependiente basada en variables explicativas independientes cuantitativas y cualitativas [@xlstatbyaddinsoft].

Un árbol de regresión consiste en hacer preguntas de tipo \(¿x_k < c?\) para cada una de las covariables, de esta forma el espacio de las covariables es divido en hiper-rectángulos (con el resultado de las condicionales) de las observaciones que queden dentro de un hiper-rectángulo tendrán el mismo valor estimado \(\hat{y}\) o \(Y\) . [@hernández2021]

Por otra parte, bajo el paradigma divide y vencerás, usando árboles de regresión y decisión y correspondientes reglas, el árbol representa el modelo similar a un diagrama de flujo en el que los nodos de decisión, los nodos de hoja y las ramas definen una serie de decisiones que se pueden usar para generar predicciones. Siguiendo las reglas se encuentran predicciones en la hoja final. . [@lantz2013]

Desarrollo

Para trabajar con código Python, se deben cargan las librerías de Python previamente instaladas con la función py_install() de la librería reticulate de R.

La función repl_python() se utilizar para ejecutar ventana de comando o shell de Python.

Se recomienda instalar estos paquetes de Python

py_install(packages = “pandas”)
py_install(packages = “matplotlib”)
py_install(packages = “numpy”)
py_install(packages = “sklearn”) en R cloud
py_install(“scikit-learn”) R Studio local
py_install(packages = “statsmodels.api”)
py_install(packages = “seaborn”)
En terminal de Python se puede actualizar con conda create -n py3.8 python=3.8 scikit-learn pandas numpy matplotlib

Cargar librerías

library(reticulate)

# Tratamiento de datos
import numpy as np
import pandas as pd

# Gráficos
import matplotlib.pyplot as plt

# Preprocesado y modelado
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegressor
from sklearn.tree import plot_tree
from sklearn.tree import export_graphviz
from sklearn.tree import export_text
from sklearn.model_selection import GridSearchCV
from sklearn import metrics
from sklearn.metrics import mean_squared_error, r2_score

Cargar datos

datos = pd.read_csv("https://raw.githubusercontent.com/rpizarrog/Analisis-Inteligente-de-datos/main/datos/Advertising_Web.csv")
datos

##      Unnamed: 0    X     TV  Radio  Newspaper         Web  Sales
## 0             1    1  230.1   37.8       69.2  306.634752   22.1
## 1             2    2   44.5   39.3       45.1  302.653070   10.4
## 2             3    3   17.2   45.9       69.3   49.498908    9.3
## 3             4    4  151.5   41.3       58.5  257.816893   18.5
## 4             5    5  180.8   10.8       58.4  195.660076   12.9
## ..          ...  ...    ...    ...        ...         ...    ...
## 195         196  196   38.2    3.7       13.8  248.841073    7.6
## 196         197  197   94.2    4.9        8.1  118.041856    9.7
## 197         198  198  177.0    9.3        6.4  213.274671   12.8
## 198         199  199  283.6   42.0       66.2  237.498063   25.5
## 199         200  200  232.1    8.6        8.7  151.990733   13.4
## 
## [200 rows x 7 columns]

Explorar datos

print("Observaciones y variables: ", datos.shape)

## Observaciones y variables:  (200, 7)

print("Columnas y tipo de dato")
# datos.columns

## Columnas y tipo de dato

datos.dtypes

## Unnamed: 0      int64
## X               int64
## TV            float64
## Radio         float64
## Newspaper     float64
## Web           float64
## Sales         float64
## dtype: object

datos.info()

## <class 'pandas.core.frame.DataFrame'>
## RangeIndex: 200 entries, 0 to 199
## Data columns (total 7 columns):
##  #   Column      Non-Null Count  Dtype  
## ---  ------      --------------  -----  
##  0   Unnamed: 0  200 non-null    int64  
##  1   X           200 non-null    int64  
##  2   TV          200 non-null    float64
##  3   Radio       200 non-null    float64
##  4   Newspaper   200 non-null    float64
##  5   Web         200 non-null    float64
##  6   Sales       200 non-null    float64
## dtypes: float64(5), int64(2)
## memory usage: 11.1 KB

Se describen las variables independientes: TV, Radio Newpaper y la variable dependiente Sales.

Valor de etiqueta o variable objetivo deendiente(ventas): que significa el volumen de ventas del producto correspondiente

Las variables independientes: (TV, Radio, Periódico, WEB):

TV: son los costos de la publicidad en TV (en miles)
Radio: costos de publicidad invertidos en medios de difusión radio;
Newspaper Periódico: costos publicitarios para medios impresos.
Web: Costos de publicidad invertidos en herramientas digitales.

Limpiar datos

Quitar las primeras columnas y dejar TV Radio NewsPaper Web y Sales

datos = datos[['TV','Radio', 'Newspaper', 'Web', 'Sales']]
datos.describe()

##                TV       Radio   Newspaper         Web       Sales
## count  200.000000  200.000000  200.000000  200.000000  200.000000
## mean   147.042500   23.264000   30.554000  159.587355   14.022500
## std     85.854236   14.846809   21.778621   76.815266    5.217457
## min      0.700000    0.000000    0.300000    4.308085    1.600000
## 25%     74.375000    9.975000   12.750000   99.048767   10.375000
## 50%    149.750000   22.900000   25.750000  156.862154   12.900000
## 75%    218.825000   36.525000   45.100000  212.311848   17.400000
## max    296.400000   49.600000  114.000000  358.247042   27.000000

datos

##         TV  Radio  Newspaper         Web  Sales
## 0    230.1   37.8       69.2  306.634752   22.1
## 1     44.5   39.3       45.1  302.653070   10.4
## 2     17.2   45.9       69.3   49.498908    9.3
## 3    151.5   41.3       58.5  257.816893   18.5
## 4    180.8   10.8       58.4  195.660076   12.9
## ..     ...    ...        ...         ...    ...
## 195   38.2    3.7       13.8  248.841073    7.6
## 196   94.2    4.9        8.1  118.041856    9.7
## 197  177.0    9.3        6.4  213.274671   12.8
## 198  283.6   42.0       66.2  237.498063   25.5
## 199  232.1    8.6        8.7  151.990733   13.4
## 
## [200 rows x 5 columns]

Datos de entrenamiento y datos de validación

Se utiliza semilla 1280 (random_state=1280)

La función train_test_split() parte los datos originales el 70% y 30% para datos de entrenamiento y validación y con el argumento datos.drop(columns = “Sales”), datos[‘Sales’] solo incluye las variables independientes; la semilla de aleatoriedad es 1280.

X_entrena, X_valida, Y_entrena, Y_valida = train_test_split(datos.drop(columns = "Sales"), datos['Sales'],train_size=.70,  random_state=1280)

Datos de entrenamiento

print("Estructura de datos de entrenamiento... ", X_entrena.shape)

## Estructura de datos de entrenamiento...  (140, 4)

print(X_entrena)

##         TV  Radio  Newspaper         Web
## 64   131.1   42.8       28.9  124.382228
## 23   228.3   16.9       26.2   51.170073
## 153  171.3   39.7       37.7  155.016224
## 141  193.7   35.4       75.6  152.284937
## 67   139.3   14.5       10.2  207.661990
## ..     ...    ...        ...         ...
## 173  168.4    7.1       12.8  218.180829
## 49    66.9   11.7       36.8  205.253501
## 178  276.7    2.3       23.7  137.323772
## 3    151.5   41.3       58.5  257.816893
## 189   18.7   12.1       23.4  222.906951
## 
## [140 rows x 4 columns]

print(X_entrena[['TV']], X_entrena[['Radio']], X_entrena[['Newspaper']], X_entrena[['Web']])

##         TV
## 64   131.1
## 23   228.3
## 153  171.3
## 141  193.7
## 67   139.3
## ..     ...
## 173  168.4
## 49    66.9
## 178  276.7
## 3    151.5
## 189   18.7
## 
## [140 rows x 1 columns]      Radio
## 64    42.8
## 23    16.9
## 153   39.7
## 141   35.4
## 67    14.5
## ..     ...
## 173    7.1
## 49    11.7
## 178    2.3
## 3     41.3
## 189   12.1
## 
## [140 rows x 1 columns]      Newspaper
## 64        28.9
## 23        26.2
## 153       37.7
## 141       75.6
## 67        10.2
## ..         ...
## 173       12.8
## 49        36.8
## 178       23.7
## 3         58.5
## 189       23.4
## 
## [140 rows x 1 columns]             Web
## 64   124.382228
## 23    51.170073
## 153  155.016224
## 141  152.284937
## 67   207.661990
## ..          ...
## 173  218.180829
## 49   205.253501
## 178  137.323772
## 3    257.816893
## 189  222.906951
## 
## [140 rows x 1 columns]

Modelo de Árbol de Regresión

Se construye el modelo de árbol de regresión.

La clase DecisionTreeRegressor del módulo sklearn.tree permite entrenar árboles de decisión para problemas de regresión.

Algunos parámetros de la función serían los siguientes:

max_depth: profundidad máxima que puede alcanzar el árbol.
min_samples_split: número mínimo de observaciones que debe de tener un nodo para que pueda dividirse. Si es un valor decimal se interpreta como fracción del total de observaciones de entrenamiento ceil(min_samples_split * n_samples).
min_samples_leaf: número mínimo de observaciones que debe de tener cada uno de los nodos hijos para que se produzca la división. Si es un valor decimal se interpreta como fracción del total de observaciones de entrenamiento ceil(min_samples_split * n_samples).
max_leaf_nodes: número máximo de nodos terminales.
random_state: semilla para que los resultados sean reproducibles. Tiene que ser un valor entero. [@amat2020]

modelo_ar = DecisionTreeRegressor(
            max_depth         = 3,
            random_state      = 2022
          )

Utilizar los datos de entrenamiento (X_entrena y Y_entrena) con el modelo de árbol de regresión.

modelo_ar.fit(X_entrena, Y_entrena)

DecisionTreeRegressor(max_depth=3, random_state=2022)

In a Jupyter environment, please rerun this cell to show the HTML representation or trust the notebook.
On GitHub, the HTML representation is unable to render, please try loading this page with nbviewer.org.

Visualización del modelo

Toda vez creado el modelo, se puede representar mediante la combinación de las funciones plot_tree() y export_text().

La función plot_tree() dibuja la estructura del árbol y muestra el número de observaciones y valor medio de la variable respuesta en cada nodo.

La función export_text() representa esta misma información en formato texto. [@amat2020].

fig, ax = plt.subplots(figsize=(12, 5))

print(f"Profundidad del árbol: {modelo_ar.get_depth()}")

## Profundidad del árbol: 3

print(f"Número de nodos terminales: {modelo_ar.get_n_leaves()}")

## Número de nodos terminales: 8

plot = plot_tree(
            decision_tree = modelo_ar,
            feature_names = datos.drop(columns = "Sales").columns,
            class_names   = 'Sales',
            filled        = True,
            impurity      = False,
            fontsize      = 10,
            precision     = 2,
            ax            = ax
       )

plot

texto_modelo = export_text(
                    decision_tree = modelo_ar,
                    feature_names = list(datos.drop(columns = "Sales").columns)
               )
print(texto_modelo)

## |--- TV <= 108.60
## |   |--- TV <= 30.05
## |   |   |--- Newspaper <= 9.00
## |   |   |   |--- value: [3.20]
## |   |   |--- Newspaper >  9.00
## |   |   |   |--- value: [7.11]
## |   |--- TV >  30.05
## |   |   |--- Radio <= 42.80
## |   |   |   |--- value: [10.20]
## |   |   |--- Radio >  42.80
## |   |   |   |--- value: [13.62]
## |--- TV >  108.60
## |   |--- Radio <= 21.20
## |   |   |--- Radio <= 10.30
## |   |   |   |--- value: [11.80]
## |   |   |--- Radio >  10.30
## |   |   |   |--- value: [14.41]
## |   |--- Radio >  21.20
## |   |   |--- TV <= 258.35
## |   |   |   |--- value: [18.70]
## |   |   |--- TV >  258.35
## |   |   |   |--- value: [24.85]

Predicciones

La importancia de cada predictor en modelo se calcula como la reducción total (normalizada) en el criterio de división, en este caso el mse, que consigue el predictor en las divisiones en las que participa. Si un predictor no ha sido seleccionado en ninguna divisón, no se ha incluido en el modelo y por lo tanto su importancia es 0. [@amat2020].

Evaluar predictores

importancia_predictores = pd.DataFrame(
                            {'predictor': datos.drop(columns = "Sales").columns,
                             'importancia': modelo_ar.feature_importances_}
                            )
print("Importancia de los predictores en el modelo")

## Importancia de los predictores en el modelo

importancia_predictores.sort_values('importancia', ascending=False)

##    predictor  importancia
## 0         TV     0.665555
## 1      Radio     0.322449
## 2  Newspaper     0.011996
## 3        Web     0.000000

Se hacen predicciones con los datos de validación usando el modelo de árbol de predicción.

predicciones = modelo_ar.predict(X = X_valida)

RMSE

rmse Root Mean Stándard Error (Root-mean-square deviation), este valor normalmente se compara contra otro modelo y el que esté mas cerca de cero es mejor.

La raiz del Error Cuadrático Medio (rmse) es una métrica que dice qué tan lejos están los valores predichos de los valores observados o reales en un análisis de regresión, en promedio. Se calcula como:

\[ rmse = \sqrt{\frac{\sum(predicho_i - real_i)^{2}}{n}} \]

RMSE es una forma útil de ver qué tan bien un modelo de regresión puede ajustarse a un conjunto de datos.

Cuanto mayor sea el rmse, mayor será la diferencia entre los valores predichos y reales, lo que significa que peor se ajusta un modelo de regresión a los datos. Por el contrario, cuanto más pequeño sea el rmse, mejor podrá un modelo ajustar los datos.

rmse = mean_squared_error(
        y_true  = Y_valida,
        y_pred  = predicciones,
        squared = False
       )
print(f"El error (rmse) de test es: {rmse}")

## El error (rmse) de test es: 2.3819081083379596

print('Mean Squared Error: MSE', metrics.mean_squared_error(Y_valida, predicciones))

## Mean Squared Error: MSE 5.673486236566117

print('Root Mean Squared Error RMSE:', np.sqrt(metrics.mean_squared_error(Y_valida, predicciones)))

## Root Mean Squared Error RMSE: 2.3819081083379596

Visualizar predicciones contra valores reales

Pendiente … …

Predicciones con datos nuevos

Se hacen predicciones con datos nuevos. Pendiente … …

Interpretación

Pendiente …

Con este modelo y con estos datos interprete lo siguiente:

¿Cuál es el contexto de los datos?

Este caso tiene como objetivo crear y evaluar un modelo de árbol de regresión para predecir las ventas con datos simulados de una empresa dependiendo de las inversiones realizadas en publicidad. Cabe señalar que los datos que se manejan en el documento representan las inversiones realizadas o los costos que se tienen por parte del departamento de publicidad, por ende se consideran los datos reales.

¿Cuántas observaciones se analizan y cuáles son las variables de interés?

Se analizan 200 observaciones según datos del documento. Además se trabaja con 4 variables independientes y 1 variable dependiente.

¿Cuáles son las variables independientes y dependientes?

La variables dependiente es “Sales” y las variables independientes están cofnromadas por “Web”, “Radio”, “TV” y “Newspaper”.

¿Cuál es el porcentaje de datos de entrenamiento y datos de validación?

Los datos de entrenamiento se encuentran en un 70% y los datos de validación en un 30%.

**¿Cuál es el valor de RMSE y qué significaría este valor*?**

El valor correspondiente es de 2.3819081083379596. En este caso la cantidad si se considera bastante alta comparandola con otros ejemplos, sin embargo, no se puede considerar descartar el modelo hasta no comparar el dato con otros modelos. Esto significaría que existe una diferencia marcada entre los datos predichos y los reales, que los distancia más uno del otro.

¿Puede haber otro modelo más óptimo para estos datos?

Posiblemente, sin embargo, el modelo de árbol de regresión es un muy buen candidato para lidiar con casos donde intervienen más de dos variables y encima determinar cuál variable independiente tiene mayor impacto sobre la variable dependiente. Además es un muy buen modelo que se utiliza para operaciones predictivas y explicativas, tla vez incluso le mejor que puede haber. Aunque, cabe recalcar, que todo depende del entorno que rodeé al caso, la naturaleza y cantidad de los datos a analizar, etc.

¿Que tan confiables son las predicciones con datos nuevos con este modelo y con estos datos?

En términos geenrales, los datos que arroja el modelo del árbol de regresión son bastante confiables a juzgar por los métodos que utiliza para su análisis. Sin embargo, en esete caso no se puede decir lo mismo, ya que existe un alto indice en el valor del RMSE y eso afecta directamente a la solidez de los datos predichos.

Comparado con el modelo elaborado en lenguaje R cual tiene menor RMSE y qué significa?

El modelo realizado en lenguaje R tiene un valor de 1.982506 y en python un valor de 2.3819081083379596, por lo tanto R posee un RMSE menor, esto significa que el modelo que es más efectivo en términos de predicción de los datos es el del lenguaje R. El resultado ha sido así debido a que el indice que denota la diferencia que existe entre los datos predichos y los reales es un poco menor en R.

Por otra parte he de mencionar mis impresiones finales de este modelo. Me parece que tiene una característica muy peculiar e interesante, que además puede ponerle incluso por encima de los otros modelos, por ejemplo, el de regresión lineal múltiple y regresión polinomial, me refiero a la función que ofrece con respecto a determianr y ordenar el grado de importancia o impacto que tiene cada una de las variables independientes sobre la variable dependiente. En este caso fue la variable “TV” la que tiene mayor importancia. Aunque es un modelo bastante práctico, creo que la efectividad de un modelo depende más que nada de la naturaleza de los datos que analiza, esto junto con todas sus características, tales como: relaciones, procedencia, aplicaciones, etc.

Caso 4. Arbol de regresión datos Advertising en Python

Emilio Martínez Aguilar - 18041280

2022-10-05