flowchart TD
A[Datos Secundarios] -->B[Internos]
A[Datos Secundarios] -->C[Externos]
B --> D[Base de Datos \n de Clientes]
B --> E[Data Warehouse \n y Minería de Datos]
B --> F[CRM y \n Marketing de \n Base de Datos]
B --> G[Social Media]
C --> G
C --> H[Negocios/\n No Gubernamentales]
C --> I[Gobierno]
C --> J[Servicios \n Sindicados]
Datos Secundarios: Definiciones e Infraestructura
Unidad 2 - Enfoques Cuantitativos para la Recopilación y Análisis de Datos Secundarios
Datos Primarios vs. Secundarios
Datos Primarios:
Son generados por el investigador con la finalidad de abordar un problema de investigación específico.
Puede ser caro y demanda mucho tiempo.
Datos Secundarios:
Ya fueron recolectados para otro propósito del que tenemos en mente.
Son obtenidos “rápidamente” y a menor (o sin) costo.
Es muy poco probable que un problema de investigación de mercados sea completamente único.
Visa y Big Data
Visa no emite tarjetas de crédito ni extiende créditos; ofrece el procesamiento de transacciones nacionales e internacionales y la gestión de riesgos.
Para cada transacción, los bancos, los comerciantes y los consumidores deben confiar en que la transacción es legítima y segura.
La tecnología usada por Visa para evitar fraudes era tan restrictiva que los consumidores reportaban continuos y frustrantes rechazos en sus pagos cuando salían de vacaciones y viajes de negocios.
Visa y Big Data
Visa uso modelos analíticos de datos masivos para analizar más de 500 variables distintas en tiempo real.
Este enfoque ayudó a reducir fraudes sin agobiar con rechazos innecesarios de pago, ahorrando cerca de 2000 millones de dólares en pagos fraudulentos.
Visa no solo fue auspiciador de los Juegos Olímpicos de Rio 2016, sino que implementó un anillo de pago sin contacto para los atletas que posteriormente fue puesto a disposición del público en general.
Ejemplo e-commerce
Para abrir un e-commerce se ha desarrollado la aplicación que va a interactuar con los usuarios.
Escalamiento Vertical
El e-commerce ha logrado crecer bastante y dada una alta demanda se cae.
Escalar servidor
Esto es alquilar un servidor mejor, con más RAM y CPU.
Esto se conoce como escalamiento vertical.
Escalamiento Horizontal
El Problema de los Grandes Datos
A medida que más usuarios usen la aplicación, son más datos los que se van a generar y no van a caber en un solo computador, por lo que se usará un sistema de datos distribuidos.
Pipeline de Datos
Problema: Recomendar productos a clientes
Para preparar este modelo se necesita:
Montar un Data Lake, un Data Warehouse, un entorno de entrenamiento y uno de producción para los modelos.
Armar toda esta infraestructura desde cero es una tarea compleja, que se escapa bastante de nuestro objetivo, que es hacer un sistema recomendador.
Características
Al trabajar con entornos en la nube :
Todos los servicios son configurados automáticamente por los proveedores: Google Cloud Platform o Amazon Web Services.
Estos servicios están configurados automáticamente para decidir de forma inteligente cuando necesitan escalar.
Un servicio en la nube puede replicarse para satisfacer la necesidad de más recursos.
Proveedores de Servicios en la Nube
Principales Servicios en la Nube
Aumenta considerablemente la carga computacional :
Las consultas de análisis de datos consumen muchos recursos.
Además, puede ralentizar las operaciones del negocio.
¿Cómo se piensa este sistema?
Base de Datos Transaccional
Entre este tipo de bases de datos destaca PLSQL, MySQL o SQL Server :
Está pensado para mantener las transacciones de una organización (operación de una aplicación).
También, para recibir varias operaciones de lectura y escritura, pero donde cada operación es liviana.
Ejemplo e-commerce
Consultar los datos de una compra que tenga un identificador determinado.
Insertar un nuevo cliente o una nueva compra.
Modificar el valor de un producto.
Revisar las compras que ha hecho un usuario en particular.
Índices
Data Warehousing
Es un sistema para encontrar datos ordenados :
Que están listos para ser consultados por los analistas de datos.
Hay datos históricos que pueden servir para diversas tareas.
Ejemplo de Uso de Data Warehousing
Hacer reportes con agregaciones para distintas ventanas de tiempo.
Hacer análisis complejos de datos para encontrar clusters o patrones en los datos.
Alimentar las distintas herramientas de visualización de datos.
Construyendo un Data Warehouse
Los patrones más comunes para llevar datos a un Data Warehouse son dos:
ETL (Extract-Transform-Load)
Consiste en tomar todos los datos de las fuentes de datos, procesarlos y luego guardarlos en un Data Warehouse.
ELT (Extract-Load-Transform)
Consiste en tomar todos los datos de las fuentes y guardarlos sin procesar en una capa intermedia (Data Lake). Luego, procesar los datos crudos y montarlos sobre el Data warehouse.
¿Cuál es el patrón más usado?
Data Lake vs. Data Warehousing
Un Data Lake es un espacio donde se guarda información de distintas fuentes :
Sin estructura y en crudo, es decir, sin procesar.
No es un lugar donde un analista quiera ir a buscar datos, pues es “difícil navegar” por este lago.
Referencias
McDaniel Jr, C., & Gates, R. (2020). Marketing research. John Wiley & Sons.
Naresh, K. M. (2009). Marketing research: an applied orientation. Global ed. Upper Saddle River, NJ: Pearson Education.
Social Media
No confundir social media (medios sociales) con social networks (redes sociales).
Social Media: incluye redes sociales, blogs, foros, marcadores, geolocalización, etc.
Redes sociales: son parte de los medios sociales (Facebook, Twitter, Linkedin, etc.)
Es una fuente rica de datos secundarios internos y externos.
Brindan información de la percepción y preferencias del consumidor (verdadera voz).