OBJETIVOS:

CORTO PLAZO A corto plazo el objetivo estuvo focalizado, durante el mes de enero, en analizar la conexión a base de datos y un primer prototipo de dashboard de visualización que sea base para la creación de un futuro modelo de dashboard. El modelo de dashboard futuro será aplicado a un cliente real y servirá para ser repliciable en otros. En él, se aplicarán todos los elementos y observaciones recopiladas en este primer trabajo

A modo práctico el proceso de trabajo se centró en tres tareas principales:

1. Estructura del Dashboard:

Se trabajo sobre una estructura de dashboard que presenta un esquema responsivo. Es decir, que permita adaptarse al tamaño de pantalla del cliente.
Se trabajó con menúes laterales a fin de simplificar el acceso a diferentes tipos de datos y gráficos según el tema: producto o foco de análisis.
Al mismo tiempo se trabajó con menúes horizontales alternativos a fin de acomodar de manera simple a la vista el detalle en gráficos y tablas de un mismo grupotemático.
La estructura permite un encabezado que da lugar para ubicar tanto un título cabecera como para agregar un logo personalizado.

2. Graficos y Tablas

Gráficos Se trabajaron gráficas de tablas que reemplazan en primer lugar las gráficas de “pie” o torta que actualmente no son recomendadas para el análisis de datos. Referencias de las desventajas del gráfico de pie:

Para datos con linea de tiempo se recomiendan las gráficas de lineas o acumuladas ya que permite comprender mejor la comparación visual entre más de dos eventos (lineas de datos) a representar en esa misma gráfica - Ejemplos:

Linea de tiempo Gráfico 2
Linea de tiempo acumulada

Se recomienda también trabajar con gráficas de lineas de regresión que permiten interpretar la tendencia pasada, presente y la tendencia a suceder. - ejemplo gráfico 3-

Además de lo mencionado, se recomienda trabajar con gráficas de puntos ya que permite analizar la proximidad de un evento y el otro - punto / dato -

También se recomienda aplicar gráficas estadísticas sobre variables nuevas a crear sobre las estimaciones estadísticas que se puedan obtener de los datos acumulados. Esto permite que las gráficas no solo sean descriptivas sino permite un análisis en profundidad para encontrar patrones dentro de los datos entre un suceso y el otro.

Paquetes actualmente se trabajaron las gráficas con el paquete ggplot2 del programa de software R. Una vez determinados los tipos de gráficas a realizar, se aconseja trabajar con el paquete ploty ya que presenta un diseño de gráficos a nivel color y dinamismo de mayor impacto frente el cliente.

Ejemplos: https://dash.gallery/Portal/

Interacciones Los gráficos permiten generar interacciones con el usuario. Entre ellos se pueden destacar, a fin de tenerlo en cuenta en el dashboard de un cliente final, los siguiente:

Selección de fecha
Selección de variables
Selección de rangos numéricos
Selección de tamaños de gráficos
Selección de cantidad de colores
Interacción con puntos de gráficos para analizar información.
Interacción con gráfico para resaltar parte del gráfico con color.
Registro de acciones que hace el usuario con el gráfico.
Señalar, encuadrar, una parte que el usuario quiera destacar del gráfico.
Seleccionar un período

nota: se aconseja determinar en reunión las interacciones (gadgets) finales a aplicar.

Tablas Las tablas al igual que las gráficas permiten interacciones del usuario y generan dinamismo, para ello se utilizaron elementos del paquete DT del software R que convierte tablas tradicionales en tablas interactivas. Entre algunos elementos que se usaron se destacan:

Paginación
Búsqueda de palabra clave
Botón de descarga de tabla
Filtros en columnas
Destaque en color sobre lo que señala el usuario.
Selección por parte del usuario de cuantas filas desea ver en pantalla.

Prototipo vista:

https://yf456z-mara-destefanis.shinyapps.io/DashboardPrototipo/

Nota: el mismo queda subido en la carpeta dashboard de Mediciones y Mercado.

Descargas: se puede descargar las tablas en diferentes formatos, actualmente se dejó el formato csv ya que reduce el tamaño del archivo y puede convertirse en excel separándolo por “,” o cualquier otro formato que requiere el usuario. Puede configurarse en los formatos que Mediciones y Mercado concidere.

3 Estudio de conexión a base de datos

1_ Análisis de la Base de Datos TlmkLite: Existen 59 tablas de datos en la base de datos en sql de tlmkLite. 32 de las 59 no tienen entradas Solo la mitad de las tablas se utilizan. Hay 27 tablas útiles. Las tablas con las descripciones de sus variables son: https://docs.google.com/spreadsheets/d/1KoyH-RDLv1jHV6rVnQkE5Jh58-PGAa9U4J21PI0OFiQ/edit#gid=0

Los problemas principales encontrados son:

Tablas vacías
Caracteres especiales, por ejemplo: los que generan más conflictos barra, la barra invertida, los dos puntos, asteriscos, signo de pregunta, comillas dobles, mayores y menores <>, y y barra vertical | .
La estructura no es un problema, sino el tiempo en generar los join para generar los archivos en formato csv por cliente.
Revisión de volumen de la base de datos ( 3M de entradas) los datos no útiles evitarlos.

Programa Interno: CUT DB

El objetivo del programa es generar archivos csv. para ser leídos por el dashboard.

1 - El programa filtra la base de datos principal generando una base de datos auxiliar. La base de datos auxiliar une los datos de las diferentes tablas de la tabla principal generando una tabla maestra sin foreign key. ( clave de columna) o sea con todos los datos necesarios para mostrarse en el dashboard.

2- El siguiente paso: Con los datos de esta tabla se genera el csv. y luego se elimina la base de datos auxiliar para ahorrar espacio.
Los csv se generan uno por empresa.

Otros Detalles.

Lenguaje del programa utilizado: Python.
El programa permitirá generar un runtime ( para realizar la tarea de actualización cada x tiempo) por ejemplo una vez por semana se corre el programa.
Para el runtime se debe consultar allí para la compatibilidad de linux.
Se hace entrega en la carpeta Dashboard de Mediciones y Mercado los archivos correspondientes al dashboard prototipo y al programa CUT DB generado.

Nota: se acompaña con el esquema del programa CUT DB https://drive.google.com/drive/folders/1Ur3ZiPuBvEb_vBwS0SBziDepTXKbcI60

Otras consideraciones.

Se recomienda agregar en el dashboard un menú con ” SUMMARY” o “Resumen Ejecutivo” en él se podría sintetizar las gráficas y datos más relevantes del dashboard. También se recomienda agregar un botón de descarga en formato pdf del resumen ejecutivo.
A nivel de descargas, se puede agregar descargar las gráficas de manera individual, o pantalla completa.
Se recomienda agregar otra sección para descargar un Informe en PDF donde se presente un informe en detalle presentado de manera tradicional. Este desarrollo se genera de manera independiente al dashboard y puede incluirse a fin de contener una descarga en pdf según los puntos más importantes a destacar.
Este mismo puede resumirse con un pdf de summary en primer instancia.

Próximos Pasos

Se recomienda trabajar el modelo final para un cliente, tomando en cuenta las necesidades coordinadas con el cliente y aplicando las observaciones del primer prototipo base para enriquecer el dashboard final.
El modelo final, deberá conectarse directamente a la base de datos, a través del programa CUT DB desarrollado para tal función - hasta actualizar base de datos - y desarrollar las tablas de datos que se requiere para el dashboard desde el programa de manera automática.
El modelo requerirá instancias de: 1- Desarrollo con tres puestas de revisión y corrección 2- Testeo de velocidad y procesamiento 3- Puesta en producción. En funciomiento para el cliente final.
También se deberá aplicar actualización automática a través del desarrollo de un runtime de los datos de la base de datos para que recupere la información nueva y la actualice en el dashboard sin requerimiento de un proceso manual.
Se recomienda agregar un usuario y contraseña para dar mayor privacidad al cliente de su información. El mismo podrá aplicarse en la dirección: www.medicionesymercado/dashboard y una vez que accede con su usuario y password derivarlo al dasboard del cliente final, por ejemplo: www.medicionesymercado/dashboard/brou.

Entregado por: Mara Destéfanis, Master en Ciencia de Datos