[…] all models are approximations. Essentially, all models are wrong, but some are useful. However, the approximate nature of the model must always be borne in mind […]

— George Box (1987, Empirical Model-Building and Response Surfaces, p. 424)

Pacotes utilizados

knitr::opts_chunk$set(echo = TRUE)
library(leaflet)
library(knitr)
library(tidyverse)
library(haven)
library(kableExtra)
library(formattable)
library(htmltools)
#library(webshot) # Desnecessário
library(gm)
library(kableExtra)
library(ggrepel)
library(lubridate)
library(GGally)
library(mosaicData)
library(paletteer)
library(tidymodels)
library(fastDummies)

Desafio

Teste prático para os candidatos ao processo seletivo de cientistas, analistas e engenheiros de dados para o time de Business Science & Analytics do olist

Fonte: https://github.com/olist/work-at-olist-data

Cenário

O olist é a maior loja de departamentos dos marketplaces. Possui um catálogo com mais de 950 mil produtos, centenas de milhares de pedidos e uma rede de mais de 9 mil lojistas parceiros espalhados por todas as regiões do Brasil. Entendemos que a área de dados e inteligência é uma das principais alavancas de crescimento do negócio, por isso buscamos profissionais apaixonados por dados para integrar a nossa equipe de Business Science e Analytics (BSA).

Estamos o tempo todo gerando dados, dados e muito mais dados. Nosso cenário é de big data!

Banco de dados

Plataforma de e-commerce

Desafio

  • Será que nossos diferentes lojistas associados conseguem manter o preço do mesmo produto sem grandes discrepâncias?
  • Existe diferença no valor do frete praticado em regiões/cidades diferentes? Ou podemos aplicar as mesmas regras de subsídio de frete para qualquer localidade?
  • Será que nosso catálogo de produtos é abrangente? Ou tem foco em categorias
  • Será que nosso catálogo de produtos é abrangente? Ou tem foco em categorias específicas?
  • Será que sempre vendemos os mesmos produtos? Ou existem sazonalidades?
  • Será que existe um modelo preditivo para nos preparar para o futuro?
  • Será que o atual banco de dados vai suportar o nosso crescimento? Ou existe uma opção mais escalável?

Cientista de dados

  • Que tal uma análise textual dos clientes que deixaram comentários sobre suas compras?
  • Alguns clientes não escreveram um comentário. Mas por que eles estão satisfeitos?
  • Com as informações da data de compra, você poderá prever vendas futuras!
  • Você também poderá focar na logística e encontrar maneiras de otimizar os tempos de entrega.
  • Esses dados possuem coordenadas de geolocalização. Há diferenças no padrão de consumo por regiões?
  • Divirta-se descobrindo as categorias de produtos mais propensas à insatisfação do cliente.
  • Crie recursos deste rico conjunto de dados, feature engineering ou anexe algumas informações públicas externas a ele.
  • E um modelo para precificar os produtos do nosso catálogo? Modelagem matemática para otimizar rotas? Testes de hipóteses para validar algum questionamento?

Analista de dados e Business Intelligence

  • Pense em alguns KPIs para monitoramento. Talvez outros para direcionamento dos gestores!
  • Um cruzamento dos dados poderia gerar relatórios interessantes. Afinal, quem são os Top 10 em vendas? Que tipo produtos eles vendem? Qual é o impacto deles para o negócio?
  • Que tal realizar uma análise exploratória dos dados. E então? Algo lhe chama a atenção?
  • Você poderia apresentar esses dados em um dashboard. Isso daria agilidade na tomada de decisão!
  • Temos interesse em suas habilidades com matemática aplicada e estatística descritiva. O que você pode nos mostrar com os dados?

O que esperamos do candidato?

  • O que acha de escrever um relatório ou slides sobre a sua abordagem na solução de alguns desses problemas?
  • Fique livre para criar sua própria abordagem, caso considere que as dicas anteriores não sejam pertinentes.
  • Fique a vontade para adotar softwares, processos e ferramentas que considerar adequados.
  • Pode ser em qualquer formato, queremos apenas entender como você apresenta os resultados do seu trabalho.
  • Não esqueça de indicar em seu relatório os links/endereços, caso tenha hospedado códigos/arquivos em algum repositório na internet.

Dados Aleatórios

Descrição dos dados

  • olist_orders_dataset
  • olist_order_items_dataset
  • olist_order_reviews_dataset
  • olist_products_dataset
  • olist_order_payments_dataset
  • olist_customers_dataset
  • olist_geolocation_dataset
  • olist_sellers_dataset

Análise exploratória

Leitura dos dados

orders <- read_csv("data/olist/olist_orders_dataset.csv") # spec(orders)
customers <- read_csv("data/olist/olist_customers_dataset.csv", col_types = cols(.default = "c"))
order_reviews <- read_csv("data/olist/olist_order_reviews_dataset_clean.csv", col_types = cols(.default = "c"))
order_payments <- read_csv("data/olist/olist_order_payments_dataset.csv")
order_items_details <- read_csv("data/olist/olist_order_items_dataset.csv")
sellers <- read_csv("data/olist/olist_sellers_dataset.csv", col_types = cols(.default = "c"))
geolocation <- read_csv("data/olist/olist_geolocation_dataset.csv")
products <- read_csv("data/olist/olist_products_dataset.csv")

Regressão Linear

[…] sons do not tend toward their fathers’ heights but instead “regress to” the mean of the population. — Sir Francis Galton (1885)

# install.packages("mosaicData")
base <- mosaicData::Galton %>% as_tibble() %>% mutate(midHeight = (father + mother)/2)
base %>%   ggplot() + theme_minimal() +
  geom_point(aes(x = midHeight, y = height), alpha = .25) +
  geom_function(fun = function(x) {y = x}, size = .75) +
  geom_function(fun = function(x) {y = mean(base$height)}, size = .75, linetype = "dotdash") +
  geom_smooth(aes(x = midHeight, y = height), method='lm', formula = y~x, se = FALSE, color = "red", linetype = "dashed") +
  xlab("Altura média dos pais (polegadas)") +
  ylab("Altura do filho (polegadas)")

modelo_linear <- lm(height ~ mother + father + I(sex), data = base) 
summary(modelo_linear)
## 
## Call:
## lm(formula = height ~ mother + father + I(sex), data = base)
## 
## Residuals:
##    Min     1Q Median     3Q    Max 
## -9.523 -1.440  0.117  1.473  9.114 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 15.34476    2.74696   5.586 3.08e-08 ***
## mother       0.32150    0.03128  10.277  < 2e-16 ***
## father       0.40598    0.02921  13.900  < 2e-16 ***
## I(sex)M      5.22595    0.14401  36.289  < 2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 2.154 on 894 degrees of freedom
## Multiple R-squared:  0.6397, Adjusted R-squared:  0.6385 
## F-statistic:   529 on 3 and 894 DF,  p-value: < 2.2e-16

Testando as hipóteses do modelo 2

erro  <- base %>% select(height, midHeight) %>% 
  mutate(resíduos = resid(modelo_linear),
         ajustado = fitted(modelo_linear))

erro %>% head(n = 20) %>% kbl() %>% kable_classic_2() %>%
  kable_styling(bootstrap_options = c("striped", "hover", "condensed")) %>% 
  kable_styling(full_width = FALSE, font_size = 10) %>% 
  column_spec(3, color = if_else(erro$resíduos < 0, 'red', 'black'))
height midHeight resíduos ajustado
73.2 72.75 -0.7801604 73.98016
69.2 72.75 0.4457909 68.75421
69.0 72.75 0.2457909 68.75421
69.0 72.75 0.2457909 68.75421
73.5 71.00 0.8985213 72.60148
72.5 71.00 -0.1014787 72.60148
65.5 71.00 -1.8755274 67.37553
65.5 71.00 -1.8755274 67.37553
71.0 69.50 -0.5947519 71.59475
68.0 69.50 1.6311994 66.36880
70.5 69.50 -1.0947519 71.59475
68.5 69.50 -3.0947519 71.59475
67.0 69.50 0.6311994 66.36880
64.5 69.50 -1.8688006 66.36880
63.0 69.50 -3.3688006 66.36880
72.0 66.75 2.1734714 69.82653
69.0 66.75 -0.8265286 69.82653
68.0 66.75 -1.8265286 69.82653
66.5 66.75 1.8994227 64.60058
62.5 66.75 -2.1005773 64.60058

Testando as hipóteses do modelo 2

erro %>% 
    ggplot(aes(x = resíduos, y = ..density..)) + geom_histogram(position = 'identity', color = 'white', bins = 30, fill = 'red', alpha = .2) +
    geom_density(position = 'identity', size = .75) + theme_bw()

Testando as hipóteses do modelo 2

erro %>% pull(resíduos) %>% nortest::ad.test()
## 
##  Anderson-Darling normality test
## 
## data:  .
## A = 0.44823, p-value = 0.2781
erro %>% ggplot() + geom_point(aes(x = ajustado, y = resíduos), alpha = .2) +
  labs(x = "Ajustado", y = "Resíduos") + theme_bw()

Predito vs Valores verdadeiros

erro %>% ggplot() + 
  geom_point(aes(x = ajustado, y = height), alpha = .2) +
  labs(x = "Ajustado", y = "Real") + theme_bw()

Regressão Logística

salespeople <- read_csv("data/salespeople.csv")
salespeople_clean <- salespeople %>% 
  mutate(promoted = factor(promoted),
         performance = factor(performance, levels = 1:4, ordered = TRUE)) %>% na.omit 
ggpairs(salespeople_clean, ggplot2::aes(colour=promoted)) 

Exemplo: Organizando os dados

# Criar variáveis indicadoras
salespeople_ind  <- salespeople_clean %>% 
  dummy_cols(select_columns = "performance") %>%
  select(-performance)


salespeople_ind %>% head(n = 20) %>% kbl() %>% kable_classic_2() %>%
  kable_styling(bootstrap_options = c("striped", "hover", "condensed")) %>% 
  kable_styling(full_width = FALSE, font_size = 10)
promoted sales customer_rate performance_1 performance_2 performance_3 performance_4
0 594 3.94 0 1 0 0
0 446 4.06 0 0 1 0
1 674 3.83 0 0 0 1
0 525 3.62 0 1 0 0
1 657 4.40 0 0 1 0
1 918 4.54 0 1 0 0
0 318 3.09 0 0 1 0
0 364 4.89 1 0 0 0
0 342 3.74 0 0 1 0
0 387 3.00 0 0 1 0
0 527 2.43 0 0 1 0
1 716 3.16 0 0 1 0
0 557 3.51 0 1 0 0
0 450 3.21 0 0 1 0
0 344 3.02 0 1 0 0
0 372 3.87 0 0 1 0
0 258 2.49 1 0 0 0
0 338 2.66 0 0 0 1
0 410 3.14 0 1 0 0
1 937 5.00 0 1 0 0

Exemplo: Primeiro Modelo

modelo_completo <- 
  glm(formula = "promoted ~ .", family = "binomial", 
      data = salespeople_ind)

coeficientes <- tidy(modelo_completo) %>% 
  mutate(odds = exp(estimate),
         `2.5%` = exp(confint(modelo_completo))[,"2.5 %"],
         `97.5%` = exp(confint(modelo_completo))[,"97.5 %"])  
coeficientes %>% 
    mutate(across(where(is.numeric), ~ round(.x, 3))) %>% 
    kbl() %>% kable_classic_2() %>%
    kable_styling(bootstrap_options = c("striped", "hover", "condensed")) %>% 
    kable_styling(full_width = FALSE, font_size = 10) %>% 
    column_spec(c(2:6), color = if_else(c(na.omit(coeficientes)$estimate < 0, TRUE), 'red', 'black'))
term estimate std.error statistic p.value odds 2.5% 97.5%
(Intercept) -19.124 3.501 -5.462 0.000 0.000 0.000 0.000
sales 0.040 0.007 6.101 0.000 1.041 1.030 1.057
customer_rate -1.112 0.483 -2.304 0.021 0.329 0.114 0.779
performance_1 -0.734 1.072 -0.685 0.493 0.480 0.053 3.824
performance_2 -0.471 0.934 -0.505 0.614 0.624 0.097 3.958
performance_3 -0.050 0.912 -0.054 0.957 0.952 0.159 5.977
performance_4 NA NA NA NA NA NA NA

Exemplo: Primeiro Modelo — continuação

summary(modelo_completo)
## 
## Call:
## glm(formula = "promoted ~ .", family = "binomial", data = salespeople_ind)
## 
## Deviance Residuals: 
##      Min        1Q    Median        3Q       Max  
## -2.11890  -0.08910  -0.01981   0.00867   2.98107  
## 
## Coefficients: (1 not defined because of singularities)
##                 Estimate Std. Error z value Pr(>|z|)    
## (Intercept)   -19.124439   3.501115  -5.462 4.70e-08 ***
## sales           0.040124   0.006576   6.101 1.05e-09 ***
## customer_rate  -1.112131   0.482682  -2.304   0.0212 *  
## performance_1  -0.734493   1.071964  -0.685   0.4932    
## performance_2  -0.471494   0.933504  -0.505   0.6135    
## performance_3  -0.049539   0.911615  -0.054   0.9567    
## performance_4         NA         NA      NA       NA    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 440.303  on 349  degrees of freedom
## Residual deviance:  64.374  on 344  degrees of freedom
## AIC: 76.374
## 
## Number of Fisher Scoring iterations: 8

Exemplo: Segundo Modelo

modelo_simples <- 
  glm(formula = "promoted ~ sales + customer_rate", family = "binomial", 
      data = salespeople_ind)

coeficientes <- tidy(modelo_simples) %>% 
  mutate(odds = exp(estimate),
         `2.5%` = exp(confint(modelo_simples))[,"2.5 %"],
         `97.5%` = exp(confint(modelo_simples))[,"97.5 %"])  
coeficientes %>% 
    mutate(across(where(is.numeric), ~ round(.x, 3))) %>% 
    kbl() %>% kable_classic_2() %>%
    kable_styling(bootstrap_options = c("striped", "hover", "condensed")) %>% 
    kable_styling(full_width = FALSE, font_size = 10) %>% 
    column_spec(c(2:6), color = if_else(c(na.omit(coeficientes)$estimate < 0, TRUE), 'red', 'black'))
term estimate std.error statistic p.value odds 2.5% 97.5%
(Intercept) -19.518 3.347 -5.832 0.000 0.000 0.000 0.000
sales 0.040 0.007 6.190 0.000 1.041 1.030 1.057
customer_rate -1.122 0.467 -2.403 0.016 0.326 0.117 0.750

Exemplo: Segundo Modelo — continuação

summary(modelo_simples)
## 
## Call:
## glm(formula = "promoted ~ sales + customer_rate", family = "binomial", 
##     data = salespeople_ind)
## 
## Deviance Residuals: 
##      Min        1Q    Median        3Q       Max  
## -2.02984  -0.09256  -0.02070   0.00874   3.06380  
## 
## Coefficients:
##                 Estimate Std. Error z value Pr(>|z|)    
## (Intercept)   -19.517689   3.346762  -5.832 5.48e-09 ***
## sales           0.040389   0.006525   6.190 6.03e-10 ***
## customer_rate  -1.122064   0.466958  -2.403   0.0163 *  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 440.303  on 349  degrees of freedom
## Residual deviance:  65.131  on 347  degrees of freedom
## AIC: 71.131
## 
## Number of Fisher Scoring iterations: 8

Qualidade do ajuste

pseudoR2 <- tibble(PseudoR2 = c("McFadden", "CoxSnell", "Nagelkerke", "Tjur"),
                  Valor = DescTools::PseudoR2(modelo_simples, which = PseudoR2))  

pseudoR2 %>% mutate(across(where(is.numeric), ~ round(.x, 2))) %>% 
  kbl() %>% kable_classic_2() %>%
    kable_styling(bootstrap_options = c("striped", "hover", "condensed")) %>% 
    kable_styling(full_width = FALSE, font_size = 10) 
PseudoR2 Valor
McFadden 0.85
CoxSnell 0.66
Nagelkerke 0.92
Tjur 0.88
diagnostics <- LogisticDx::gof(modelo_simples, plotROC = FALSE)  
  
diagnostics$gof %>% as_tibble() %>% 
  kbl() %>% kable_classic_2() %>%
    kable_styling(bootstrap_options = c("striped", "hover", "condensed")) %>% 
    kable_styling(full_width = FALSE, font_size = 10) %>% 
    column_spec(5, color = if_else(diagnostics$gof$pVal < .05, 'red', 'black'))
test stat val df pVal
HL chiSq 3.4457606 8 0.9033582
mHL F 2.7470996 8 0.0059710
OsRo Z -0.0241525 NA 0.9807310
SstPgeq0.5 Z 0.8865686 NA 0.3753112
SstPl0.5 Z 0.9681935 NA 0.3329477
SstBoth chiSq 1.7234025 2 0.4224428
SllPgeq0.5 chiSq 1.8547381 1 0.1732333
SllPl0.5 chiSq 0.6857087 1 0.4076279
SllBoth chiSq 1.8664062 2 0.3932919

Previsão de novos dados

novos_dados <- tibble(sales = c(420, 510, 710), 
                        customer_rate = c(3.4, 2.3, 4.2))

previsão <- predict(modelo_simples, novos_dados, type = "response")

novos_dados %>% 
  mutate(Resposta = round(previsão, 2)) %>% 
  kbl() %>% kable_classic_2() %>%
    kable_styling(bootstrap_options = c("striped", "hover", "condensed")) %>% 
    kable_styling(full_width = FALSE, font_size = 10)
sales customer_rate Resposta
420 3.4 0.00
510 2.3 0.18
710 4.2 0.99

Aplicação OLIST

Problema

Como prever a satisfação do consumidor? Que variáveis influenciam mais?

Dados: https://github.com/olist/work-at-olist-data