Data Warehousing y la Nube
Unidad II - Infraestructura para volúmenes grandes de datos
Ejemplo e-commerce
Para abrir un e-commerce se ha desarrollado la aplicación que va a interactuar con los usuarios.
Escalamiento Vertical
El e-commerce ha logrado crecer bastante y dada una alta demanda se cae.
Escalar servidor
Esto es alquilar un servidor mejor, con más RAM y CPU.
Esto se conoce como escalamiento vertical.
Escalamiento Horizontal
El Problema de los Grandes Datos
A medida que más usuarios usen la aplicación, son más datos los que se van a generar y no van a caber en un solo computador, por lo que se usará un sistema de datos distribuidos.
Pipeline de Datos
Problema: Recomendar productos a clientes
Para preparar este modelo se necesita:
Montar un Data Lake, un Data Warehouse, un entorno de entrenamiento y uno de producción para los modelos.
Armar toda esta infraestructura desde cero es una tarea compleja, que se escapa bastante de nuestro objetivo, que es hacer un sistema recomendador.
Características
Al trabajar con entornos en la nube :
Todos los servicios son configurados automáticamente por los proveedores: Google Cloud Platform o Amazon Web Services.
Estos servicios están configurados automáticamente para decidir de forma inteligente cuando necesitan escalar.
Un servicio en la nube puede replicarse para satisfacer la necesidad de más recursos.
Proveedores de Servicios en la Nube
Principales Servicios en la Nube
Aumenta considerablemente la carga computacional :
Las consultas de análisis de datos consumen muchos recursos.
Además, puede ralentizar las operaciones del negocio.
¿Cómo se piensa este sistema?
Base de Datos Transaccional
Entre este tipo de bases de datos destaca PLSQL, MySQL o SQL Server :
Está pensado para mantener las transacciones de una organización (operación de una aplicación).
También, para recibir varias operaciones de lectura y escritura, pero donde cada operación es liviana.
Ejemplo e-commerce
Consultar los datos de una compra que tenga un identificador determinado.
Insertar un nuevo cliente o una nueva compra.
Modificar el valor de un producto.
Revisar las compras que ha hecho un usuario en particular.
Índices
Data Warehousing
Es un sistema para encontrar datos ordenados :
Que están listos para ser consultados por los analistas de datos.
Hay datos históricos que pueden servir para diversas tareas.
Ejemplo de Uso de Data Warehousing
Hacer reportes con agregaciones para distintas ventanas de tiempo.
Hacer análisis complejos de datos para encontrar clusters o patrones en los datos.
Alimentar las distintas herramientas de visualización de datos.
Construyendo un Data Warehouse
Los patrones más comunes para llevar datos a un Data Warehouse son dos:
ETL (Extract-Transform-Load)
Consiste en tomar todos los datos de las fuentes de datos, procesarlos y luego guardarlos en un Data Warehouse.
ELT (Extract-Load-Transform)
Consiste en tomar todos los datos de las fuentes y guardarlos sin procesar en una capa intermedia (Data Lake). Luego, procesar los datos crudos y montarlos sobre el Data warehouse.
¿Cuál es el patrón más usado?
Data Lake vs. Data Warehousing
Un Data Lake es un espacio donde se guarda información de distintas fuentes :
Sin estructura y en crudo, es decir, sin procesar.
No es un lugar donde un analista quiera ir a buscar datos, pues es “difícil navegar” por este lago.
