Objetivo

Crear y evaluar un modelo de árbol de regresión para predecir las ventas con datos simulados de una empresa dependiendo de las inversiones realizadas en publicidad.

Descripción

Se utiliza programación Python
Cargar librerías y datos
Limpiar datos si es necesario
Explorar datos
Partir los datos en datos de entrenamiento y datos de validación 70% y 30%
Crear modelo de regresión con los datos de entrenamiento
Predicciones
Evaluar predicciones con respecto a datos reales
Determinar el estadístico rmse para evaluar con respecto a otros modelos
Interpretar el caso

Fundamento teórico

Los algoritmos de aprendizaje basados en árbol se consideran uno de los mejores y más utilizados métodos de aprendizaje supervisado. Potencían modelos predictivos con alta precisión, estabilidad y facilidad de interpretación.

Los árboles de clasificación y regresión son métodos que proporcionan modelos que satisfacen objetivos tanto predictivos como explicativos.

Algunas ventajas son su sencillez y la representación gráfica mediante árboles y, por otro, la definición de reglas de asociación entre variables que incluye expresiones de condición que permiten explicar las predicciones.

Se pueden usar para regresiones con variables dependientes que tienen valores numéricos continuos o para clasificaciones con variables categóricas.

Utilizar un árbol de regresión para crear un modelo explicativo y predictivo para una variable cuantitativa dependiente basada en variables explicativas independientes cuantitativas y cualitativas [@xlstatbyaddinsoft].

Un árbol de regresión consiste en hacer preguntas de tipo \(¿x_k < c?\) para cada una de las covariables, de esta forma el espacio de las covariables es divido en hiper-rectángulos (con el resultado de las condicionales) de las observaciones que queden dentro de un hiper-rectángulo tendrán el mismo valor estimado \(\hat{y}\) o \(Y\) . [@hernández2021]

Por otra parte, bajo el paradigma divide y vencerás, usando árboles de regresión y decisión y correspondientes reglas, el árbol representa el modelo similar a un diagrama de flujo en el que los nodos de decisión, los nodos de hoja y las ramas definen una serie de decisiones que se pueden usar para generar predicciones. Siguiendo las reglas se encuentran predicciones en la hoja final. . [@lantz2013]

Desarrollo

Para trabajar con código Python, se deben cargan las librerías de Python previamente instaladas con la función py_install() de la librería reticulate de R.

La función repl_python() se utilizar para ejecutar ventana de comando o shell de Python.

Se recomienda instalar estos paquetes de Python

py_install(packages = “pandas”)
py_install(packages = “matplotlib”)
py_install(packages = “numpy”)
py_install(packages = “sklearn”) en R cloud
py_install(“scikit-learn”) R Studio local
py_install(packages = “statsmodels.api”)
py_install(packages = “seaborn”)
En terminal de Python se puede actualizar con conda create -n py3.8 python=3.8 scikit-learn pandas numpy matplotlib

Cargar librerías

library(reticulate)

# Tratamiento de datos
import numpy as np
import pandas as pd

# Gráficos
import matplotlib.pyplot as plt

# Preprocesado y modelado
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegressor
from sklearn.tree import plot_tree
from sklearn.tree import export_graphviz
from sklearn.tree import export_text
from sklearn.model_selection import GridSearchCV
from sklearn import metrics
from sklearn.metrics import mean_squared_error, r2_score

Cargar datos

datos = pd.read_csv("https://raw.githubusercontent.com/rpizarrog/Analisis-Inteligente-de-datos/main/datos/Advertising_Web.csv")
datos

##      Unnamed: 0    X     TV  Radio  Newspaper         Web  Sales
## 0             1    1  230.1   37.8       69.2  306.634752   22.1
## 1             2    2   44.5   39.3       45.1  302.653070   10.4
## 2             3    3   17.2   45.9       69.3   49.498908    9.3
## 3             4    4  151.5   41.3       58.5  257.816893   18.5
## 4             5    5  180.8   10.8       58.4  195.660076   12.9
## ..          ...  ...    ...    ...        ...         ...    ...
## 195         196  196   38.2    3.7       13.8  248.841073    7.6
## 196         197  197   94.2    4.9        8.1  118.041856    9.7
## 197         198  198  177.0    9.3        6.4  213.274671   12.8
## 198         199  199  283.6   42.0       66.2  237.498063   25.5
## 199         200  200  232.1    8.6        8.7  151.990733   13.4
## 
## [200 rows x 7 columns]

Explorar datos

print("Observaciones y variables: ", datos.shape)

## Observaciones y variables:  (200, 7)

print("Columnas y tipo de dato")
# datos.columns

## Columnas y tipo de dato

datos.dtypes

## Unnamed: 0      int64
## X               int64
## TV            float64
## Radio         float64
## Newspaper     float64
## Web           float64
## Sales         float64
## dtype: object

datos.info()

## <class 'pandas.core.frame.DataFrame'>
## RangeIndex: 200 entries, 0 to 199
## Data columns (total 7 columns):
##  #   Column      Non-Null Count  Dtype  
## ---  ------      --------------  -----  
##  0   Unnamed: 0  200 non-null    int64  
##  1   X           200 non-null    int64  
##  2   TV          200 non-null    float64
##  3   Radio       200 non-null    float64
##  4   Newspaper   200 non-null    float64
##  5   Web         200 non-null    float64
##  6   Sales       200 non-null    float64
## dtypes: float64(5), int64(2)
## memory usage: 11.1 KB

Se describen las variables independientes: TV, Radio Newpaper y la variable dependiente Sales.

Valor de etiqueta o variable objetivo deendiente(ventas): que significa el volumen de ventas del producto correspondiente

Las variables independientes: (TV, Radio, Periódico, WEB):

TV: son los costos de la publicidad en TV (en miles)
Radio: costos de publicidad invertidos en medios de difusión radio;
Newspaper Periódico: costos publicitarios para medios impresos.
Web: Costos de publicidad invertidos en herramientas digitales.

Limpiar datos

Quitar las primeras columnas y dejar TV Radio NewsPaper Web y Sales

datos = datos[['TV','Radio', 'Newspaper', 'Web', 'Sales']]
datos.describe()

##                TV       Radio   Newspaper         Web       Sales
## count  200.000000  200.000000  200.000000  200.000000  200.000000
## mean   147.042500   23.264000   30.554000  159.587355   14.022500
## std     85.854236   14.846809   21.778621   76.815266    5.217457
## min      0.700000    0.000000    0.300000    4.308085    1.600000
## 25%     74.375000    9.975000   12.750000   99.048767   10.375000
## 50%    149.750000   22.900000   25.750000  156.862154   12.900000
## 75%    218.825000   36.525000   45.100000  212.311848   17.400000
## max    296.400000   49.600000  114.000000  358.247042   27.000000

datos

##         TV  Radio  Newspaper         Web  Sales
## 0    230.1   37.8       69.2  306.634752   22.1
## 1     44.5   39.3       45.1  302.653070   10.4
## 2     17.2   45.9       69.3   49.498908    9.3
## 3    151.5   41.3       58.5  257.816893   18.5
## 4    180.8   10.8       58.4  195.660076   12.9
## ..     ...    ...        ...         ...    ...
## 195   38.2    3.7       13.8  248.841073    7.6
## 196   94.2    4.9        8.1  118.041856    9.7
## 197  177.0    9.3        6.4  213.274671   12.8
## 198  283.6   42.0       66.2  237.498063   25.5
## 199  232.1    8.6        8.7  151.990733   13.4
## 
## [200 rows x 5 columns]

Datos de entrenamiento y datos de validación

Se utiliza semilla 2022 (random_state=2022)

La función train_test_split() parte los datos originales el 70% y 30% para datos de entrenamiento y validación y con el argumento datos.drop(columns = “Sales”), datos[‘Sales’] solo incluye las variables independientes; la semilla de aleatoriedad es 2022.

X_entrena, X_valida, Y_entrena, Y_valida = train_test_split(datos.drop(columns = "Sales"), datos['Sales'],train_size=.70,  random_state=1349)

Datos de entrenamiento

print("Estructura de datos de entrenamiento... ", X_entrena.shape)

## Estructura de datos de entrenamiento...  (140, 4)

print(X_entrena)

##         TV  Radio  Newspaper         Web
## 143  104.6    5.7       34.4  336.571095
## 124  229.5   32.3       74.2   88.080721
## 45   175.1   22.5       31.5   62.809264
## 181  218.5    5.4       27.4  162.387486
## 151  121.0    8.4       48.7  103.255212
## ..     ...    ...        ...         ...
## 194  149.7   35.6        6.0   99.579981
## 164  117.2   14.7        5.4  109.008763
## 17   281.4   39.6       55.8   41.755313
## 126    7.8   38.9       50.6  209.471977
## 18    69.2   20.5       18.3  210.489910
## 
## [140 rows x 4 columns]

print(X_entrena[['TV']], X_entrena[['Radio']], X_entrena[['Newspaper']], X_entrena[['Web']])

##         TV
## 143  104.6
## 124  229.5
## 45   175.1
## 181  218.5
## 151  121.0
## ..     ...
## 194  149.7
## 164  117.2
## 17   281.4
## 126    7.8
## 18    69.2
## 
## [140 rows x 1 columns]      Radio
## 143    5.7
## 124   32.3
## 45    22.5
## 181    5.4
## 151    8.4
## ..     ...
## 194   35.6
## 164   14.7
## 17    39.6
## 126   38.9
## 18    20.5
## 
## [140 rows x 1 columns]      Newspaper
## 143       34.4
## 124       74.2
## 45        31.5
## 181       27.4
## 151       48.7
## ..         ...
## 194        6.0
## 164        5.4
## 17        55.8
## 126       50.6
## 18        18.3
## 
## [140 rows x 1 columns]             Web
## 143  336.571095
## 124   88.080721
## 45    62.809264
## 181  162.387486
## 151  103.255212
## ..          ...
## 194   99.579981
## 164  109.008763
## 17    41.755313
## 126  209.471977
## 18   210.489910
## 
## [140 rows x 1 columns]

Modelo de Árbol de Regresión

Se construye el modelo de árbol de regresión.

La clase DecisionTreeRegressor del módulo sklearn.tree permite entrenar árboles de decisión para problemas de regresión.

Algunos parámetros de la función serían los siguientes:

max_depth: profundidad máxima que puede alcanzar el árbol.
min_samples_split: número mínimo de observaciones que debe de tener un nodo para que pueda dividirse. Si es un valor decimal se interpreta como fracción del total de observaciones de entrenamiento ceil(min_samples_split * n_samples).
min_samples_leaf: número mínimo de observaciones que debe de tener cada uno de los nodos hijos para que se produzca la división. Si es un valor decimal se interpreta como fracción del total de observaciones de entrenamiento ceil(min_samples_split * n_samples).
max_leaf_nodes: número máximo de nodos terminales.
random_state: semilla para que los resultados sean reproducibles. Tiene que ser un valor entero. [@amat2020]

modelo_ar = DecisionTreeRegressor(
            max_depth         = 3,
            random_state      = 2022
          )

Utilizar los datos de entrenamiento (X_entrena y Y_entrena) con el modelo de árbol de regresión.

modelo_ar.fit(X_entrena, Y_entrena)

DecisionTreeRegressor(max_depth=3, random_state=2022)

In a Jupyter environment, please rerun this cell to show the HTML representation or trust the notebook.
On GitHub, the HTML representation is unable to render, please try loading this page with nbviewer.org.

Visualización del modelo

Toda vez creado el modelo, se puede representar mediante la combinación de las funciones plot_tree() y export_text().

La función plot_tree() dibuja la estructura del árbol y muestra el número de observaciones y valor medio de la variable respuesta en cada nodo.

La función export_text() representa esta misma información en formato texto. [@amat2020].

fig, ax = plt.subplots(figsize=(12, 5))

print(f"Profundidad del árbol: {modelo_ar.get_depth()}")

## Profundidad del árbol: 3

print(f"Número de nodos terminales: {modelo_ar.get_n_leaves()}")

## Número de nodos terminales: 8

plot = plot_tree(
            decision_tree = modelo_ar,
            feature_names = datos.drop(columns = "Sales").columns,
            class_names   = 'Sales',
            filled        = True,
            impurity      = False,
            fontsize      = 10,
            precision     = 2,
            ax            = ax
       )

plot

texto_modelo = export_text(
                    decision_tree = modelo_ar,
                    feature_names = list(datos.drop(columns = "Sales").columns)
               )
print(texto_modelo)

## |--- TV <= 108.60
## |   |--- TV <= 32.75
## |   |   |--- TV <= 4.75
## |   |   |   |--- value: [2.40]
## |   |   |--- TV >  4.75
## |   |   |   |--- value: [6.84]
## |   |--- TV >  32.75
## |   |   |--- Radio <= 13.30
## |   |   |   |--- value: [9.40]
## |   |   |--- Radio >  13.30
## |   |   |   |--- value: [12.04]
## |--- TV >  108.60
## |   |--- Radio <= 23.95
## |   |   |--- Radio <= 9.95
## |   |   |   |--- value: [11.78]
## |   |   |--- Radio >  9.95
## |   |   |   |--- value: [14.93]
## |   |--- Radio >  23.95
## |   |   |--- TV <= 179.80
## |   |   |   |--- value: [16.55]
## |   |   |--- TV >  179.80
## |   |   |   |--- value: [21.49]

Predicciones

La importancia de cada predictor en modelo se calcula como la reducción total (normalizada) en el criterio de división, en este caso el mse, que consigue el predictor en las divisiones en las que participa. Si un predictor no ha sido seleccionado en ninguna divisón, no se ha incluido en el modelo y por lo tanto su importancia es 0. [@amat2020].

Evaluar predictores

importancia_predictores = pd.DataFrame(
                            {'predictor': datos.drop(columns = "Sales").columns,
                             'importancia': modelo_ar.feature_importances_}
                            )
print("Importancia de los predictores en el modelo")

## Importancia de los predictores en el modelo

importancia_predictores.sort_values('importancia', ascending=False)

##    predictor  importancia
## 0         TV      0.66125
## 1      Radio      0.33875
## 2  Newspaper      0.00000
## 3        Web      0.00000

Se hacen predicciones con los datos de validación usando el modelo de árbol de predicción.

predicciones = modelo_ar.predict(X = X_valida)

RMSE

rmse Root Mean Stándard Error (Root-mean-square deviation), este valor normalmente se compara contra otro modelo y el que esté mas cerca de cero es mejor.

La raiz del Error Cuadrático Medio (rmse) es una métrica que dice qué tan lejos están los valores predichos de los valores observados o reales en un análisis de regresión, en promedio. Se calcula como:

\[ rmse = \sqrt{\frac{\sum(predicho_i - real_i)^{2}}{n}} \]

RMSE es una forma útil de ver qué tan bien un modelo de regresión puede ajustarse a un conjunto de datos.

Cuanto mayor sea el rmse, mayor será la diferencia entre los valores predichos y reales, lo que significa que peor se ajusta un modelo de regresión a los datos. Por el contrario, cuanto más pequeño sea el rmse, mejor podrá un modelo ajustar los datos.

rmse = mean_squared_error(
        y_true  = Y_valida,
        y_pred  = predicciones,
        squared = False
       )
print(f"El error (rmse) de test es: {rmse}")

## El error (rmse) de test es: 1.6222520874811281

print('Mean Squared Error: MSE', metrics.mean_squared_error(Y_valida, predicciones))

## Mean Squared Error: MSE 2.631701835336878

print('Root Mean Squared Error RMSE:', np.sqrt(metrics.mean_squared_error(Y_valida, predicciones)))

## Root Mean Squared Error RMSE: 1.6222520874811281

Visualizar predicciones contra valores reales

score = modelo_ar.score(X_entrena,Y_entrena)
print(score)

## 0.8934018847327365

Y_pred = modelo_ar.predict(X_entrena)
print(Y_pred)

## [ 9.4        21.4875     14.93181818 11.78181818 11.78181818 11.78181818
##  11.78181818 12.03684211 14.93181818  6.84117647 11.78181818 12.03684211
##  16.55454545 11.78181818 14.93181818 14.93181818 14.93181818 11.78181818
##  21.4875     21.4875     21.4875     11.78181818  9.4        11.78181818
##  12.03684211 11.78181818 21.4875     14.93181818 21.4875      6.84117647
##   6.84117647 21.4875     16.55454545 21.4875     11.78181818 16.55454545
##  12.03684211 14.93181818  9.4        21.4875      9.4         6.84117647
##  14.93181818 12.03684211 16.55454545 21.4875      9.4        12.03684211
##  14.93181818 11.78181818 12.03684211 11.78181818  6.84117647 11.78181818
##   6.84117647 14.93181818 12.03684211 21.4875     21.4875     12.03684211
##  21.4875     12.03684211 16.55454545 11.78181818 12.03684211 12.03684211
##  21.4875     21.4875     14.93181818 14.93181818 21.4875     11.78181818
##  12.03684211 12.03684211  6.84117647 12.03684211 21.4875     12.03684211
##   6.84117647  9.4         9.4         9.4        11.78181818 21.4875
##   6.84117647 16.55454545  9.4         6.84117647  6.84117647 14.93181818
##  21.4875     21.4875     21.4875     14.93181818 12.03684211 14.93181818
##  21.4875     16.55454545  9.4        11.78181818 21.4875      2.4
##  21.4875     16.55454545 21.4875     14.93181818  9.4        14.93181818
##   6.84117647 14.93181818 11.78181818  6.84117647  9.4         9.4
##   6.84117647 11.78181818 11.78181818 21.4875      9.4        16.55454545
##  21.4875     12.03684211 14.93181818 11.78181818 14.93181818 14.93181818
##  16.55454545  6.84117647 21.4875     21.4875      9.4        21.4875
##  21.4875      2.4         6.84117647 16.55454545 14.93181818 21.4875
##   6.84117647 12.03684211]

Predicciones con datos nuevos

print('Mean Squared Error: MSE', metrics.mean_squared_error(Y_valida, predicciones))

## Mean Squared Error: MSE 2.631701835336878

print('Root Mean Squared Error RMSE:', np.sqrt(metrics.mean_squared_error(Y_valida, predicciones)))

## Root Mean Squared Error RMSE: 1.6222520874811281

Visualizar predicciones contra valores reales

plt.plot(range(len(Y_pred)),Y_pred,'b',label="predict")
 #Mostrar imagen
plt.savefig("predict.jpg")
plt.show()

Interpretación

Pendiente …

Con este modelo y con estos datos interprete lo siguiente:

¿Cuál es el contexto de los datos?

Se realiza un análisis d anuncios que se tienen en distintos medios, como la TV y Radio con el objetivo de obtener información sobre cual es más conveniente para invertir.

¿Cuántas observaciones se analizan y cuáles son las variables de interés?

200 observacione, TV, Radio, Newspaper, Web y Sales son las variables de interes

¿Cuáles son las variables independientes y dependientes?

Las variables independientes son TV, Radio, Newspaper y Web, la variable dependiente es Sales.

¿Cuál es el porcentaje de datos de entrenamiento y datos de validación ?

70% de entrenamiento y 30% son de validación

¿Cuál es el valor de *RMSE* y qué significaría este valor

__El valor de RMSE es de 1.6222520874811281, significa que las predicciones tendrán una diferencia de 1.62225__

¿Puede haber otro modelo más óptimo para estos datos?

Si, una posibilidad seria un modelo de regresion linear multiple con mas de una variable dependiente o variables independientes

¿Que tan confiables son las predicciones con datos nuevos con este modelo y con estos datos?

Con la semilla utilizada que es 1349 y y los resultados obtenidos, tiene un grado de confiabilidad muy alto

Comparado con el modelo elaborado en lenguaje R cual tiene menor rmse y qué significa?

Realizando el ejercicio con R se obtuvo un RMSE de 1.774392 y con Python se obtuvo un rmse de 1.62225, lo que significa que en Python se tiene una menor variabilidad o dispersión entre los datos reales

Bibliografía

Amat, Rodrigo Joaquín. 2020. “Árboles de Decisión Con Python: Regresión y Clasificación.” https://www.cienciadedatos.net/documentos/py07_arboles_decision_python.html. Hernández, Freddy. 2021. Modelos Predictivos. https://fhernanb.github.io/libro_mod_pred/; Lantz, Brett. 2013. Machine Learning with r. Kindle. XLSTAT by Addinsoft. n.d. “Árboles de Clasificación y Regresión.” https://www.xlstat.com/es/soluciones/funciones/arboles-de-clasificacion-y-de-regresion.

Caso 4. Arbol de Regresión con datos Advertising. Programación Python

Pablo Eduardo Martinez Solis

2022-10-11

Objetivo

Descripción

Fundamento teórico

Desarrollo

Cargar librerías

Cargar datos

Explorar datos

Limpiar datos

Datos de entrenamiento y datos de validación

Datos de entrenamiento

Modelo de Árbol de Regresión

Visualización del modelo

Predicciones

Evaluar predictores

RMSE

Visualizar predicciones contra valores reales

Predicciones con datos nuevos

Visualizar predicciones contra valores reales

Interpretación

Bibliografía