Predicción (forecasting) de la demanda energética con machine learning
Introducción
La predicción de la demanda energética desempeña un papel fundamental en la gestión y planificación de los recursos necesarios para la generación, distribución y utilización de la energía. Predecir la demanda de energía es una tarea compleja en la que influyen factores como los patrones meteorológicos, las condiciones económicas y el comportamiento de la sociedad. Este documento muestra cómo utilizar modelos de machine learning para predecir la demanda de energía.
Series temporales y forecasting
Una serie temporal (time series) es una sucesión de datos ordenados cronológicamente, espaciados a intervalos iguales o desiguales. El proceso de forecasting consiste en predecir el valor futuro de una serie temporal, bien modelando la serie únicamente en función de su comportamiento pasado (autorregresivo) o empleando otras variables externas.
C:\Users\WINDOWS 11\Documents\.virtualenvs\r-tensorflow\lib\site-packages\tqdm\auto.py:21: TqdmWarning:
IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html
Datos
Se dispone de una serie temporal de la demanda de electricidad (MW) para el estado de Victoria (Australia) desde 2011-12-31 hasta 2014-12-31. Los datos empleados en este documento se han obtenido del paquete de Rtsibbledata. El set de datos contiene 5 columnas y 52608 registros completos. La información de cada columna es:
Time: fecha y hora del registro.
Date: fecha del registro
Demand: demanda de electricidad (MW).
Temperature: temperatura en Melbourne, capital de Victoria.
Holiday: indicador si el día es festivo (vacaciones).
# Descarga de datos# ==============================================================================datos = fetch_dataset(name='vic_electricity', raw=True)datos.info()
vic_electricity
---------------
Half-hourly electricity demand for Victoria, Australia
O'Hara-Wild M, Hyndman R, Wang E, Godahewa R (2022).tsibbledata: Diverse
Datasets for 'tsibble'. https://tsibbledata.tidyverts.org/,
https://github.com/tidyverts/tsibbledata/.
https://tsibbledata.tidyverts.org/reference/vic_elec.html
Shape of the dataset: (52608, 5)
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 52608 entries, 0 to 52607
Data columns (total 5 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 Time 52608 non-null object
1 Demand 52608 non-null float64
2 Temperature 52608 non-null float64
3 Date 52608 non-null object
4 Holiday 52608 non-null bool
dtypes: bool(1), float64(2), object(2)
memory usage: 1.7+ MB
La columna Time está almacenada como string. Para convertirla en datetime, se emplea la función pd.to_datetime(). Una vez en formato datetime, y para hacer uso de las funcionalidades de pandas, se establece como índice. Además, dado que los datos se han registrado cada 30 minutos, se indica la frecuencia '30min'.
Aunque los datos se encuentran en intervalos de 30 minutos, el objetivo es crear un modelo capaz de predecir la demanda eléctrica a nivel horario, por lo que se tienen que agregar los datos. Este tipo de transformación es muy sencillas si se combina el índice DatetimeIndex de pandas y su método resample().
Es muy importante utilizar correctamente los argumentos closed='left' y label='right' para no introducir en el entrenamiento información a futuro (leakage). Supóngase que se dispone de valores para las 10:10, 10:30, 10:45, 11:00, 11:12 y 11:30. Si se quiere obtener el promedio horario, el valor asignado a las 11:00 debe calcularse utilizando los valores de las 10:10, 10:30 y 10:45; y el de las 12:00, con el valor de las 11:00, 11:12 y 11:30.
Para el valor promedio de las 11:00 no se incluye el valor puntual de las 11:00 por que, en la realidad, en ese momento exacto no se dispone todavía del valor.
# Agregado en intervalos de 1H# ==============================================================================# Se elimina la columna Date para que no genere error al agregar.datos = datos.drop(columns='Date')datos = ( datos .resample(rule="h", closed="left", label="right") .agg({"Demand": "mean","Temperature": "mean","Holiday": "mean", }))datos
Demand
Temperature
Holiday
Time
2011-12-31 14:00:00
4323.095350
21.225
1.0
2011-12-31 15:00:00
3963.264688
20.625
1.0
2011-12-31 16:00:00
3950.913495
20.325
1.0
2011-12-31 17:00:00
3627.860675
19.850
1.0
2011-12-31 18:00:00
3396.251676
19.025
1.0
...
...
...
...
2014-12-31 09:00:00
4069.625550
21.600
0.0
2014-12-31 10:00:00
3909.230704
20.300
0.0
2014-12-31 11:00:00
3900.600901
19.650
0.0
2014-12-31 12:00:00
3758.236494
18.100
0.0
2014-12-31 13:00:00
3785.650720
17.200
0.0
26304 rows × 3 columns
El set de datos empieza el 2011-12-31 14:00:00 y termina el 2014-12-31 13:00:00. Se descartan los primeros 10 y los últimos 13 registros para que empiece el 2012-01-01 00:00:00 y termine el 2014-12-30 23:00:00. Además, para poder optimizar los hiperparámetros del modelo y evaluar su capacidad predictiva, se dividen los datos en 3 conjuntos, uno de entrenamiento, uno de validación y otro de test.
La exploración gráfica de series temporales es una forma eficaz de identificar tendencias, patrones y estacionalidad. Esto, a su vez, ayuda a orientar la selección del modelo de forecasting más adecuado.
Gráfico de la serie temporal
Serie temporal completa
# Gráfico interactivo de la serie temporal# ==============================================================================fig = go.Figure()fig.add_trace(go.Scatter(x=datos_train.index, y=datos_train['Demand'], mode='lines', name='Train'))fig.add_trace(go.Scatter(x=datos_val.index, y=datos_val['Demand'], mode='lines', name='Validation'))fig.add_trace(go.Scatter(x=datos_test.index, y=datos_test['Demand'], mode='lines', name='Test'))fig.update_layout( title ='Demanda eléctrica horaria', xaxis_title="Fecha", yaxis_title="Demanda (MWh)", legend_title="Partición:", width=800, height=400, margin=dict(l=20, r=20, t=35, b=20), legend=dict(orientation="h", yanchor="top", y=1, xanchor="left", x=0.001))#fig.update_xaxes(rangeslider_visible=True)fig.show()
El gráfico anterior muestra que la demanda eléctrica tiene estacionalidad anual. Se observa un incremento centrado en el mes de Julio y picos de demanda muy acentuados entre enero y marzo.
Sección de la serie temporal
Debido a la varianza de la serie temporal, no es posible apreciar con un solo gráfico el posible patrón intradiario.
Al aplicar zoom sobre la serie temporal, se hace patente una clara estacionalidad semanal, con consumos más elevados durante la semana laboral (lunes a viernes) y menor en los fines de semana. Se observa también que existe una clara correlación entre el consumo de un día con el del día anterior.
Gráfico de estacionalidad
# Estacionalidad anual, semanal y diaria# ==============================================================================fig, axs = plt.subplots(2, 2, figsize=(8, 5), sharex=False, sharey=True)axs = axs.ravel()# Distribusión de demanda por mesdatos['month'] = datos.index.monthdatos.boxplot(column='Demand', by='month', ax=axs[0], flierprops={'markersize': 3, 'alpha': 0.3})datos.groupby('month')['Demand'].median().plot(style='o-', linewidth=0.8, ax=axs[0])axs[0].set_ylabel('Demand')axs[0].set_title('Distribución de demanda por mes', fontsize=9)# Distribusión de demanda por día de la semanadatos['week_day'] = datos.index.day_of_week +1datos.boxplot(column='Demand', by='week_day', ax=axs[1], flierprops={'markersize': 3, 'alpha': 0.3})datos.groupby('week_day')['Demand'].median().plot(style='o-', linewidth=0.8, ax=axs[1])axs[1].set_ylabel('Demand')axs[1].set_title('Distribución de demanda por día de la semana', fontsize=9)# Distribusión de demanda por hora del díadatos['hour_day'] = datos.index.hour +1datos.boxplot(column='Demand', by='hour_day', ax=axs[2], flierprops={'markersize': 3, 'alpha': 0.3})datos.groupby('hour_day')['Demand'].median().plot(style='o-', linewidth=0.8, ax=axs[2])axs[2].set_ylabel('Demand')axs[2].set_title('Distribución de demanda por hora del día', fontsize=9)# Distribusión de demanda por día de la semana y hora del díamean_day_hour = datos.groupby(["week_day", "hour_day"])["Demand"].mean()mean_day_hour.plot(ax=axs[3])axs[3].set( title ="Promedio de demanda", xticks = [i *24for i inrange(7)], xticklabels = ["Mon", "Tue", "Wed", "Thu", "Fri", "Sat", "Sun"], xlabel ="Día y hora", ylabel ="Demand")axs[3].title.set_size(10)fig.suptitle("Gráficos de estacionalidad", fontsize=12)fig.tight_layout()
Se observa que hay una estacionalidad anual, con valores de demanda (mediana) superiores en los meses de junio, julio y agosto, y con elevados picos de demanda en los meses de noviembre, diciembre, enero, febrero y marzo. Se aprecia una estacionalidad semanal, con valores de demanda inferiores durante el fin de semana. También existe una estacionalidad diaria, ya que la demanda se reduce entre las 16:00 y las 21:00 horas.
Gráficos de autocorrelación
Los gráficos de autocorrelación muestran la correlación entre una serie temporal y sus valores pasados. Son una herramienta útil para identificar el orden de un modelo autorregresivo, es decir, los valores pasados (lags) que se deben incluir en el modelo.
La función de autocorrelación (ACF) mide la correlación entre una serie temporal y sus valores pasados. La función de autocorrelación parcial (PACF) mide la correlación entre una serie temporal y sus valores pasados, pero solo después de eliminar las variaciones explicadas por los valores pasados intermedios.
# Gráfico autocorrelación# ==============================================================================fig, ax = plt.subplots(figsize=(10, 5))plot_acf(datos['Demand'], ax=ax, lags=60)plt.show()# Gráfico autocorrelación parcial# ==============================================================================fig, ax = plt.subplots(figsize=(10, 5))plot_pacf(datos['Demand'], ax=ax, lags=60)plt.show()# Top 10 lags con mayor autocorrelación parcial absoluta# ==============================================================================calculate_lag_autocorrelation( data = datos['Demand'], n_lags =60, sort_by ="partial_autocorrelation_abs").head(10)
lag
partial_autocorrelation_abs
partial_autocorrelation
autocorrelation_abs
autocorrelation
0
1
0.949526
0.949526
0.949490
0.949490
1
25
0.761400
-0.761400
0.731620
0.731620
2
2
0.657961
-0.657961
0.836792
0.836792
3
26
0.634868
0.634868
0.622458
0.622458
4
24
0.308085
-0.308085
0.785622
0.785622
5
19
0.291113
0.291113
0.302308
0.302308
6
27
0.281261
-0.281261
0.488351
0.488351
7
21
0.269274
0.269274
0.537173
0.537173
8
20
0.201192
0.201192
0.414709
0.414709
9
9
0.184975
0.184975
0.037677
0.037677
Los gráficos de autocorrelación y autocorrelación parcial muestran una clara asociación entre la demanda de una hora y las horas anteriores, así como entre la demanda de una hora y la demanda de esa misma hora los días anteriores. Este tipo de correlación, es un indicativo de que los modelos autorregresivos pueden funcionar bien.
Modelo Baseline
Al enfrentarse a un problema de forecasting, es recomendable disponer de un modelo de referencia (baseline). Suele tratarse de un modelo muy sencillo que puede utilizarse como referencia para evaluar si merece la pena aplicar modelos más complejos.
Skforecast permite crear fácilmente un modelo de referencia con su clase ForecasterEquivalentDate. Este modelo, también conocido como Seasonal Naive Forecasting, simplemente devuelve el valor observado en el mismo periodo de la temporada anterior (por ejemplo, el mismo día laboral de la semana anterior, la misma hora del día anterior, etc.).
A partir del análisis exploratorio realizado, el modelo de referencia será el que prediga cada hora utilizando el valor de la misma hora del día anterior.
# Crear un baseline: valor de la misma hora del día anterior# ==============================================================================forecaster = ForecasterEquivalentDate( offset = pd.DateOffset(days=1), n_offsets =1 )# Entremaiento del forecaster# ==============================================================================forecaster.fit(y=datos.loc[:fin_validacion, 'Demand'])forecaster# Backtesting# ==============================================================================cv = TimeSeriesFold( steps =24, initial_train_size =len(datos.loc[:fin_validacion]), refit =False)metrica, predicciones = backtesting_forecaster( forecaster = forecaster, y = datos['Demand'], cv = cv, metric ='mean_absolute_error' )metrica
El error del modelo base se utiliza como referencia para evaluar si merece la pena aplicar los modelos más complejos.
Modelo autoregresivo recursivo
Se entrena un modelo autorregresivo recursivo (ForecasterRecursive) con un gradient boostingLGBMRegressor como regresor para predecir la demanda de energía de las próximas 24 horas.
Se utilizan como predictores los valores de consumo de las últimas 24 horas (24 lags) así como la media movil de los últimos 3 días. Los hiperparámetros del regresor se dejan en sus valores por defecto.
Para obtener una estimación robusta de la capacidad predictiva del modelo, se realiza un proceso de backtesting. El proceso de backtesting consiste en generar una predicción para cada observación del conjunto de test, siguiendo el mismo procedimiento que se seguiría si el modelo estuviese en producción, y finalmente comparar el valor predicho con el valor real.
El proceso de backtesting se aplica mediante la función backtesting_forecaster(). Para este caso de uso, la simulación se lleva a cabo de la siguiente manera: el modelo se entrena con datos de 2012-01-01 00:00 a 2014-11-30 23:59, y luego predice las siguientes 24 horas cada día a las 23:59. La métrica de error utilizada es el error absoluto medio (MAE).
Se recomienda revisar la documentación de la función backtesting_forecaster() para comprender mejor sus capacidades. Esto ayudará a utilizar todo su potencial para analizar la capacidad predictiva del modelo.
# Backtesting# ==============================================================================metrica, predicciones = backtesting_forecaster( forecaster = forecaster, y = datos['Demand'], cv = cv, metric ='mean_absolute_error', verbose =False, # False para no mostrar info )
El modelo autorregresivo alcanza un MAE inferior al del modelo baseline. Esto significa que el modelo autorregresivo es capaz de predecir la demanda de electricidad del día siguiente con mayor precisión que el modelo utilizado como referencia.
Variables exógenas
Hasta ahora, sólo se han utilizado como predictores los valores pasados (lags) de la serie temporal. Sin embargo, es posible incluir otras variables como predictores. Estas variables se conocen como variables exógenas (features) y su uso puede mejorar la capacidad predictiva del modelo. Un punto muy importante que hay que tener en cuenta es que los valores de las variables exógenas deben conocerse en el momento de la predicción.
Ejemplos habituales de variables exógenas son aquellas obtenidas del calendario, como el día de la semana, el mes, el año o los días festivos. Las variables meteorológicas como la temperatura, la humedad y el viento también entran en esta categoría, al igual que las variables económicas como la inflación y los tipos de interés.
Las variables exógenas deben conocerse en el momento de la predicción. Por ejemplo, si se utiliza la temperatura como variable exógena, el valor de la temperatura para la hora siguiente debe conocerse en el momento de la previsión. Si no se conoce el valor de la temperatura, la predicción no será posible.
Las variables meteorológicas deben utilizarse con precaución. Cuando el modelo se pone en producción, las condiciones meteorológicas futuras no se conocen, sino que son predicciones realizadas por los servicios meteorológicos. Al tratarse de predicciones, introducen errores en el modelo de previsión. Como consecuencia, es probable que las predicciones del modelo empeoren. Una forma de anticiparse a este problema, y conocer (no evitar) el rendimiento esperado del modelo, es utilizar las previsiones meteorológicas disponibles en el momento en que se entrena el modelo, en lugar de las condiciones reales registradas.
A continuación, se crean variables exógenas basadas en información del calendario, las horas de salida y puesta del sol, la temperatura y los días festivos. Estas nuevas variables se añaden a los conjuntos de entrenamiento, validación y test, y se utilizan como predictores en el modelo autorregresivo.
# Variables basadas en el calendario# ==============================================================================features_to_extract = ['month','week','day_of_week','hour']calendar_transformer = DatetimeFeatures( variables ='index', features_to_extract = features_to_extract, drop_original =True,)variables_calendario = calendar_transformer.fit_transform(datos)[features_to_extract]# Variables basadas en la luz solar# ==============================================================================location = LocationInfo( latitude =-37.8, longitude =144.95, timezone ='Australia/Melbourne')sunrise_hour = [ sun(location.observer, date=date, tzinfo=location.timezone)['sunrise']for date in datos.index]sunset_hour = [ sun(location.observer, date=date, tzinfo=location.timezone)['sunset']for date in datos.index]sunrise_hour = pd.Series(sunrise_hour, index=datos.index).dt.round("h").dt.hoursunset_hour = pd.Series(sunset_hour, index=datos.index).dt.round("h").dt.hourvariables_solares = pd.DataFrame({'sunrise_hour': sunrise_hour,'sunset_hour': sunset_hour })variables_solares['daylight_hours'] = ( variables_solares['sunset_hour'] - variables_solares['sunrise_hour'])
Algunos aspectos del calendario, como las horas o los días, son cíclicos. Por ejemplo, la hora del día va de 0 a 23 horas. Aunque se interpreta como una variable continua, la hora 23:00 sólo dista una hora de las 00:00. Lo mismo ocurre con los meses del año, ya que diciembre sólo dista un mes de enero. El uso de funciones trigonométricas como seno y coseno permite representar patrones cíclicos y evitar incoherencias en la representación de los datos. Este enfoque se conoce como codificación cíclica y puede mejorar significativamente la capacidad predictiva de los modelos.
# Codificación cíclica de las variables de calendario y luz solar# ==============================================================================features_to_encode = ["month","week","day_of_week","hour","sunrise_hour","sunset_hour",]max_values = {"month": 12,"week": 52,"day_of_week": 6,"hour": 24,"sunrise_hour": 24,"sunset_hour": 24,}cyclical_encoder = CyclicalFeatures( variables = features_to_encode, max_values = max_values, drop_original =False)variables_exogenas = cyclical_encoder.fit_transform(variables_exogenas)variables_exogenas.head(3)
