20 oct. 2025

Resumen ejecutivo

  • No existe un mecanismo de vigilancia que observe interacciones sistémicas en el pre-despacho.
  • Oportunidad: supervisión preventiva con analítica sobre ofertas D+1 (tras el cierre).
  • Objetivo: Detectar anomalías y riesgos sin interferir con la operación.

Objetivos

  • Recibir ofertas D+1 tras el cierre regulatorio y bajo reserva, con fines de IVC.
  • Construir KPIs, reglas y alertas automáticas de pre-despacho.
  • Respetar la prohibición de aprobación previa: sin veto ni autorización de ofertas.

Base legal (resumen)

Dos caminos para obtener ofertas D+1

  • A) Convenio SSPD–XM (recomendado)
    • Feed cifrado (snapshot + diffs) tras el cierre; sin carga a los agentes.
    • Consistente con la base de liquidación; respeta la reserva de la información.
  • B) Circular Externa SSPD (post-cierre)
    • Formato único (CSV firmado) y ventana de envío posterior al cierre en el ASIC.
    • Coordinación con CREG/XM para evitar fricción con reglas de mercado.

Arquitectura — visión general

  1. Ingesta: Transfer Family (snapshot) + Kinesis (diffs) + API Gateway (alternativo).
  2. Validación: Lambda → esquema, firma, timestamps, unicidad → /validated o /quarantine.
  3. Curación: Glue jobs → Parquet particionado → /curated.
  4. Consumo: Athena/QuickSight + Timestream (series KPIs) + EventBridge/SNS/SQS (alertas).
  5. Gobernanza & Seguridad: Lake Formation + KMS + CloudTrail/Config + Security Hub.

Arquitectura — Ingesta y almacenamiento

  • S3 Data Lake con zonas /raw, /validated, /curated (Object Lock y versionado).
  • Glue Data Catalog + Lake Formation para gobierno y control de acceso.
  • Recepción: Kinesis (streaming), API Gateway + Lambda, o Transfer Family (SFTP/FTPS/HTTPS).
  • Validación (Lambda): esquema, firma digital, sellos de tiempo, unicidad.

Arquitectura — Analítica y alertas

  • Athena (SQL sobre S3), Timestream (series temporales), Aurora (bitácoras).
  • QuickSight: dashboards de pre-despacho.
  • SageMaker / Lambda estadísticas: detección de anomalías.
  • EventBridge + SNS/SQS: orquestación y entrega de alertas (personas/sistemas).

Seguridad y cumplimiento

  • KMS en tránsito y en reposo; VPC Endpoints y PrivateLink (feeds XM).
  • IAM mínimo privilegio; separación de roles (ingesta/curación/consumo).
  • CloudTrail, CloudWatch Logs, AWS Config: auditoría y trazabilidad.
  • Security Hub, GuardDuty, Macie: monitoreo y hallazgos → EventBridge para acción.

Formato de datos (CSV firmado)

  • Campos: agente_id, recurso_id, fecha, hora(0–23), cantidad_MWh, precio_COP_MWh, tipo_oferta, zona, timestamp_envio, firma_digital.
  • Reglas: unidades normalizadas; unicidad por (recurso, fecha, hora); sello de tiempo.
  • Entrega CSV + archivo de firma (.sig); verificación criptográfica en la recepción.

¿Qué es el MVP? (Producto Mínimo Viable)

  • Primera versión funcional que entrega valor y permite aprender rápido con bajo riesgo.
  • Nuestro MVP: ingesta validada + 3–4 KPIs + alertas básicas + dashboard QuickSight + trazabilidad completa.

KPIs (MVP) — lista

  • Coherencia oferta–despacho (error relativo por hora/agente/zona).
  • Concentración (HHI horario) por zona y ΔHHI (cambio vs. referencia).
  • Outliers de precio/cantidad vs. baseline p50/p95 por recurso y hora.
  • Spreads vs. referencia zonal y patrones coordinados (intra-grupo).

Notación y símbolos (usados en fórmulas)

  • \(r\): recurso; \(a\): agente; \(g\): grupo empresarial; \(z\): zona; \(h\): hora.
  • \(\mathcal{R}(z)\): conjunto de recursos en la zona \(z\).
  • \(DP_{r,h}\): despacho programado; \(GEN_{r,h}\): energía ejecutada/medida.
  • \(Q_{i,z,h}\): cantidad ofertada por el agente \(i\) en \(z,h\).
  • \(P_{r,h}\): precio ofertado por recurso; \(Ref_{z,h}\): precio de referencia zonal.
  • \(\varepsilon\): constante pequeña (p.ej., \(10^{-6}\)) para evitar división por cero.
  • \(\mathrm{p50}(\cdot),\ \mathrm{p95}(\cdot)\): percentiles 50 y 95 de la distribución histórica.
  • \(\mathrm{MAD}(\cdot)\): desviación absoluta mediana.

KPI 1 — Coherencia oferta–despacho (con fórmula)

Error relativo: \[ ER_{z,h} = \frac{\sum_{r \in \mathcal{R}(z)} \left| DP_{r,h} - GEN_{r,h} \right|} {\sum_{r \in \mathcal{R}(z)} DP_{r,h} + \varepsilon} \]

  • HIGH: \( ER > 0.30 \) en 1 hora sin restricción activa.
  • CRITICAL: \( ER > 0.20 \) por \(\ge\) 3 horas o en horas pico (18–22).

KPI 2 — HHI y ΔHHI (Índice Herfindahl-Hirschman)

  • Mide concentración del mercado en una hora/zona (0–10 000). Más alto = más concentrado.
  • ΔHHI (Delta HHI): cambio del HHI frente a un referente (p. ej., la misma hora del día anterior). Positivo = sube la concentración.

Definiciones: Participación horaria por agente: \[ s_{i,z,h} = \frac{Q_{i,z,h}}{\sum_{j} Q_{j,z,h} + \varepsilon} \]

HHI (escala 0–10.000): \[ HHI_{z,h} = 10{,}000 \cdot \sum_{i} s_{i,z,h}^{\,2} \]

Cambio de concentración (vs. referencia: día anterior o media móvil): \[ \Delta HHI_{z,h} = HHI_{z,h} - \widetilde{HHI}_{z,h} \]

KPI 3 — Outliers vs. baseline (fórmula)

Baseline robusto y z-score: \[ m_{r,h} = \mathrm{p50}\!\left(X^{hist}_{r,h}\right), \quad MAD_{r,h} = \mathrm{MAD}\!\left(X^{hist}_{r,h}\right) \]

z-score robusto (con ajuste de consistencia): \[ z_{r,h} = \frac{\left| X_{r,h} - m_{r,h} \right|}{1.4826 \cdot \max(MAD_{r,h}, \varepsilon)} \]

Donde \(X\) puede ser precio \(P\) o cantidad \(Q\).

Criterios típicos: outlier si \(z_{r,h} \ge 3\) y/o \(X_{r,h} > \mathrm{p95}\) (precio) o \(X_{r,h} < \mathrm{p05}\) (cantidad), sin indisponibilidad reportada.

KPI 4 — Spreads y patrones coordinados

Spread de precio frente a referencia zonal: \[ S_{r,h} = P_{r,h} - Ref_{z(h),h} \]

Simultaneidad intra-grupo (en ventana \(w\) minutos):
Define un evento de cambio para el recurso \(r\): \[ E_{r,h} = \begin{cases} 1, & \text{si } \left| P_{r,h} - P_{r,h}^{\,prev} \right| \ge \theta_p \text{ (misma dirección)} \\ 0, & \text{en otro caso} \end{cases} \]

Fracción de recursos del grupo \(g\) en \(z\) que cambian en la misma dirección: \[ \mathrm{Simul}_{g,z,h} = \frac{ \sum_{r \in \mathcal{R}_g(z)} E_{r,h} }{ \left| \mathcal{R}_g(z) \right| + \varepsilon } \]

(Severidad alta si \(\mathrm{Simul}_{g,z,h} \ge \tau\) y \(S_{r,h}\) está por encima del umbral de spread.)

Orquestación de alertas (EventBridge + SNS/SQS)

  • EventBridge recibe eventos (validación, KPIs, anomalías) y enruta por reglas.
  • SNS → personas/sistemas (email, Chatbot, webhooks).
  • SQSworkers (tickets, reportes, playbooks) con reintentos y DLQ.
  • Buenas prácticas: esquema único de evento, idempotencia, agrupación (debounce), Scheduler post-cierre.

Seguridad — de hallazgo a acción

  • GuardDuty/Macie/Security Hub → findings (ASFF).
  • EventBridge enruta: CRITICAL → remediación automática + SNS; MEDIUM → ticket.
  • Runbooks (Lambda/SSM): bloquear público, rotar claves, revocar roles.
  • Todo auditado en CloudTrail/Logs con alert_id.

Plan de implementación

  • Fase 0 (4–6 sem): catálogo de datos/indicadores, acuerdos de datos, seguridad.
  • Fase 1 (6–10 sem): interoperabilidad, pipeline y KPIs iniciales.
  • Fase 2 (Piloto 6 meses): casos de uso, alertas, ajustes con mesa técnica.
  • Fase 3 (8–12 sem): escalamiento, manual operativo y acto administrativo.

Gobernanza y responsabilidades

  • Comité SSPD (Delegada Energía, Jurídica, TI, Analítica) + enlace XM/ASIC.
  • Políticas de reserva, acceso, retención y uso exclusivo para IVC.
  • Métricas de éxito: cobertura de datos, tiempos de detección/cierre, calidad.

Decisiones y próximos pasos

  • Elegir Camino A (convenio XM) o B (circular SSPD) — o híbrido temporal.
  • Aprobar MVP técnico en AWS y conformar mesa técnica interinstitucional.
  • Borradores: convenio/circular, formato CSV, manual de seguridad/operación.

Estructura de costos (Primera Aproximación)

Capa Componente Métrica Supuesto Mes USD Año USD Mes COP Año COP
Datos S3 Storage GB/mes 500 $11.50 $138.00 $48.300 $579.600
Datos S3 PUT k-req/mes 2000 $10.00 $120.00 $42.000 $504.000
Datos S3 GET k-req/mes 10000 $4.00 $48.00 $16.800 $201.600
Ingesta Transfer Family endp*h/mes 730 $219.00 $2,628.00 $919.800 $11.037.600
Ingesta Kinesis Shards shard-h/mes 1460 $21.90 $262.80 $91.980 $1.103.760
Ingesta Kinesis PUT M PUT/mes 5 $0.07 $0.84 $294 $3.528
Ingesta API Gateway M req/mes 2 $7.00 $84.00 $29.400 $352.800
Proc. Lambda (compute) GB-s/mes 75000 $1.25 $15.00 $5.250 $63.000
Proc. Lambda (invocs) M inv/mes 2 $0.20 $2.40 $840 $10.080
Proc. DynamoDB M WCU+RCU 1 W | 1 R $1.50 $18.00 $6.300 $75.600
Datos Glue ETL DPU-h/mes 50 $22.00 $264.00 $92.400 $1.108.800
Analítica Athena TB/mes 1 $5.00 $60.00 $21.000 $252.000
Analítica Timestream (writes) M puntos/mes 50 $25.00 $300.00 $105.000 $1.260.000
Analítica Aurora (bitácora) h/mes 730 $211.70 $2,540.40 $889.140 $10.669.680
Alertas EventBridge M eventos/mes 5 $5.00 $60.00 $21.000 $252.000
Alertas SNS M envíos/mes 0.1 $0.05 $0.60 $210 $2.520
Alertas SQS M req/mes 5 $2.00 $24.00 $8.400 $100.800
Usuarios QuickSight Authors autores 2 $48.00 $576.00 $201.600 $2.419.200
Usuarios QuickSight Readers lectores×ses 20×10 $60.00 $720.00 $252.000 $3.024.000
Seguridad GuardDuty aprox/mes
$50.00 $600.00 $210.000 $2.520.000
Seguridad Security Hub aprox/mes
$100.00 $1,200.00 $420.000 $5.040.000
Seguridad Macie GB clasif/mes 100 $10.00 $120.00 $42.000 $504.000
TOTAL (sin contingencia) $815.17 $9,782.04 $3.423.714 $41.084.568
TOTAL + contingencia 20% $978.20 $11,738.45 $4.108.457 $49.301.482

Glosario I (técnico)

  • Snapshot: “foto completa” de ofertas D+1 tras el cierre.
  • Diffs: solo cambios (UPSERT/DELETE) respecto al snapshot.
  • CSV firmado: archivo + firma digital (integridad y no repudio).
  • ASIC: Administrador del Sistema de Intercambios Comerciales (XM).

Glosario II (servicios AWS)

  • Kinesis: streaming de eventos de baja latencia.
  • API Gateway: endpoint HTTP(s) para enviar/recibir datos.
  • Lambda: funciones sin servidor (validaciones/ETL).
  • Transfer Family: SFTP/FTPS/HTTPS administrado para archivos.

Glosario III (datos)

  • S3 Object Lock: WORM (impide borrar/editar por período).
  • Versionado S3: conserva todas las versiones.
  • Glue Data Catalog: catálogo de tablas/datasets.
  • Lake Formation: permisos finos sobre el data lake.

Glosario IV (eventos y colas)

  • EventBridge: bus de eventos y reglas.
  • SNS: notificaciones (personas/sistemas).
  • SQS: colas para procesos (reintentos, DLQ).
  • Idempotencia/DLQ: evitar duplicados y recuperar fallos.

Glosario V (analítica/ML)

  • Athena: SQL serverless sobre S3.
  • Timestream: BD de series temporales.
  • QuickSight: dashboards ejecutivos.
  • SageMaker: ML/detección de anomalías.

Glosario VI (seguridad/red)

  • KMS: cifrado gestionado por claves.
  • mTLS: autenticación mutua sobre TLS.
  • PrivateLink: conexión privada entre VPCs/servicios.
  • VPC Endpoints: acceso privado a S3/Kinesis.

Glosario VII (postura y auditoría)

  • Security Hub: postura y cumplimiento.
  • GuardDuty: detección de amenazas.
  • Macie: datos sensibles/exposición en S3.
  • CloudTrail/Config: auditoría y configuración.