Analisis Exploratorio de Datos - Banistmo

Carga de la Data

Cargo el dataset, con el formato de fecha correcto y el nombre de las columnas, el cual esta presente en el CSV:

library(readr)
dataset <- read_csv("C:/Users/Leonel/Projects/dataset.csv", col_types = cols(fecha = col_date(format = "%Y%m%d")))

Analisis exploratorio

Lo primero siempre, deseo ver como se ve la data y si se cargo correctamente:

head(dataset)

Ahora, necesito saber las dimensiones del dataset:

dim(dataset)

[1] 1000001       4

Vemos que el dataset tiene un millon de filas y 4 columnas.

Deseo ver un sumario rapido de la data:

summary(dataset)

       X1              fecha                  id                txn            
 Min.   :      0   Min.   :2016-01-04   Min.   :       6   Min.   :-1328767.1  
 1st Qu.: 250000   1st Qu.:2016-01-04   1st Qu.:  432193   1st Qu.:    -100.0  
 Median : 500000   Median :2016-01-08   Median :65048457   Median :     -24.0  
 Mean   : 500000   Mean   :2016-03-23   Mean   :54800228   Mean   :     -97.6  
 3rd Qu.: 750000   3rd Qu.:2016-05-03   3rd Qu.:98663337   3rd Qu.:      -2.9  
 Max.   :1000000   Max.   :2016-12-06   Max.   :98953092   Max.   :  450000.0  
                   NA's   :396151                          NA's   :396151      

Se puede observar:

1. Lo primero que se puede observar es que la columna identificadora esta indexada en 0. Esto puede ser un issue si queremos insertar ese valor como PK en algunos manejadores de DB.
2. Veo que el rango de valores para la columna ID es bastante alto, para ser una columna de usuarios. Para estudiar valores quiza convenga dejar fuera este valor.
3. fecha y txn tienen 396151 NA’s o datos faltantes. Inspeccionando rapidamente, puedo percatarme que cuando uno falta, el otro tambien. Muy conveniente.

Ahora, quiero una lista de filas con valores faltantes:

dataset[!complete.cases(dataset),]

Veo que hay mas de 390.000 filas sin datos. Aproximadamente el 40% de la data.

Limpieza e Imputacion

En este punto, lo normal es decidir que hacer con la data faltante. En condiciones normales, se debe revisar la fuente de la data respecto a los valores faltantes, la posibilidad y las implicaciones. De todos modos, para este reto eso no es una posibilidad. Con eso en mente, el primer impulso seria descartar los datos faltantes, especialmente porque las filas a las que les falta informacion, tienen todas 2 onservaciones faltantes. Sin embargo, este asunto naturalmente despertaria la curiosisdad de cualquier cientifico. Imputar las observaciones cuantitativas (txn) no representaria un mayor reto. Sin embargo, para las fechas faltantes, puede no ser trivial. Mi primer impulso es averiguar si las fechas estan ordenadas logicamente.

Voy a extraer el mes:

library(dplyr)
library(lubridate)
dataset2 <- mutate(dataset, month = month(dataset$fecha, label = TRUE))
library(ggplot2)
ggplot(dataset2,aes(x=month,fill=month)) + geom_bar(width = 0.6) + theme(legend.position = "none") + labs(title="Data distribution by month")

ggplot(dataset2,aes(x=fecha,fill=fecha)) + geom_bar(width = 0.6) + theme(legend.position = "none") + labs(title="Data distribution by day")

Me preocupa que la data no parece tener una distribucion igualitaria. Parece haber mucha mas data en Enero que en mayo y Diciembre juntos. Ademas, los unicos 3 meses que tienen data, parecen estar aleatoriamente distribuidos. (De Enero a Mayo hay 4 meses y de Mayo a Diciembre, hay 7) La distribucion por dia, hace mucho mas evidente la desigualdad en la distribucion de datos.

En conclusion, no siento que tenga gran valor para el analisis de datos, realizar imputaciones a la fecha y a la cantidad de las transacciones para los usuarios. Lo que si considero valioso, es tomar en cuenta los registros con informacion faltante, ya que solo el usuario que reliza la transaccion e suna informacion valiosa, en caso que se quiera sumarizar la cantidad de transacciones faltantes para un usuario, o la cantidad de transacciones totales en determinado mes. La manera de insertar la data en una base de datos va a depender del objetivo del analisis, claro. Ademas, del sistema de informacion gerencial que va a procesar la data. Recomiendo colocar una fecha invalida y cero (0) como valor de la transaccion. (Esto porque al ser transacciones con ingresos y egresos, el cero es un valor que no afectara los calculos de balance).

Aunque en el ejercicio no se especifica el nivel de confianza que se tiene en este dataset, debido a los datos faltantes de fecha y txn es logico ser un poco esceptico. Considero imnteresante ver la distribucion en la cantidad de las transacciones:

boxplot(dataset$txn)

El resultado tiene sentido para transacciones bancarias. Aunque hay alguien que hizo un retiro un tanto atipico!. -1328767.1 Quiza valga la pena revisarlo… Pero no es el objetivo de este ejercicio.

Conclusiones

La data es un tanto ruidosa y dispersa. Es de esperarse en un dataset de prueba. Sin embargo, el realizar este analisis exploratorio ha permitido obtener informacion valiosa para la creacion de un modelo de datos compatible en un sistema Backend, como requiere el ejercicio. Cosas a tomar en cuenta:

• El identificador de las filas esta indexado en cero.
• La fecha puede requerir parseo antes de ser insertada en un manejador.
• El UUID debe ser un entero.
• El TXN debe ser un decimal signed.
• Los registros con fecha faltante deben ser insertados, pero considerados en los resultados.
• Los registros con fecha faltante deben mostrarse al usuario final de alguna manera, sin que afecte agregados o cuentas.