Introdução

No mundo em que vivemos hoje a tecnologia nos permite comprar qualquer produto via internet e recebê-lo no conforto de nossos lares. Também através dela, podemos comparar as condições ofertadas por diversos vendedores, de forma a optar por aquela que apresente mais vantagens para nós.

Muitas vezes optamos por aguardar alguns dias a mais para termos um determinado item em mãos, ao invés de nos deslocarmos até a loja física mais próxima de nós.

Nesse cenário, é extremamente importante para as empresas do mundo do ecommerce se manterem competitivas, a fim de atraírem clientes para seus sites e sobreviverem nesse mercado tão acirrado.

Um dos parâmetros mais relevantes na hora da tomada de decisão de compra é o preço que o cliente vai pagar. Sendo assim, realizaremos algumas análises que nos ajudem a avaliar qual empresa está mais atraente aos olhos de seus consumidores.

Os dados que utilizaremos na análise foram coletados a partir de robôs crawlers que acessam os sites de algumas das empresas de ecommerce de maior relevância no Brasil, coletando informações de condições comerciais para departamentos-chave em alguns CEPs importantes.

O dataset utilizado possui mais de 1 milhão de linhas e a fonte garante que os dados foram coletados aleatoriamente. Assim, acreditamos ter uma amostra justa que represente bem o universo a ser analisado. Os nomes das empresas foram ocultados para evitar qualquer problema.

Olhando a tabela

df$preco_p = as.numeric(gsub(",",".",df$preco_p))
df$parcelas = as.integer(df$parcelas)
df$prazo = as.integer(df$prazo)
df$frete = as.numeric(gsub(",",".",df$frete))
df$preco= df$preco_p * df$parcelas

kable(head(df[,c(1:4)]), "html") %>% 
  kable_styling(bootstrap_options = c("striped","condensed", "bordered"), full_width = F) %>% 
  row_spec(1:6, color = "black")

kable(head(df[,c(5:11)]), "html") %>% 
  kable_styling(bootstrap_options = c("striped","condensed", "bordered"), full_width = F) %>% 
  row_spec(1:6, color = "black")

Quais empresas são mais competitivas em cada estado?

Para responder essa pergunta iremos primeiramente criar um novo data frame, acrescentando a coluna preço total (preço + frete). Em seguida iremos agregar os dados e fazer uma média dos preços, já que em datas diferentes (ou até mesmo no dia) o preço pode ter variado para cima ou para baixo.

df2 = df
df2$preco_t = df$preco+df$frete
df2 = df2[,c('loja','ID','DPTO','linha','UF','preco_t')]
df3 = aggregate(df2$preco_t,by=list(loja=df2$loja,ID=df2$ID,DPTO=df2$DPTO,linha=df2$linha,UF=df2$UF),'mean')
colnames(df3)[6] = 'preco_t'
df3$preco_t = format(round(df3$preco_t, 2), nsmall = 2)

kable(head(df3, n=20), "html") %>% 
  kable_styling(bootstrap_options = c("striped","condensed", "bordered"), full_width = F) %>% 
  row_spec(1:20, color = "black")

Ao fazer o processo acima condensamos nosso dataset de mais de 1 milhão de linhas em apenas 6529 linhas. Iremos então transpor a coluna lojas, para que possamos comparar os preços de forma mais simples.

library(tidyr)
df4 = spread(df3,loja,preco_t)
df4$A = as.numeric(df4$A)
df4$B = as.numeric(df4$B)
df4$C = as.numeric(df4$C)
df4$D = as.numeric(df4$D)

Adicionando pontuação para cada Loja, por cada produto que possuir o menor preço dentre os demais concorrentes

A = NULL
B = NULL
C = NULL
D = NULL


for (i in seq_along(df4$ID)){
  if (is.na(df4$A[i])){
    A = rbind(A,0)
  } else {
      if (df4$A[i] == min(df4[i,5:8], na.rm = T)){
        A = rbind(A,1) 
      } else { A = rbind(A,0)}
  }
  if (is.na(df4$B[i])){
    B = rbind(B,0)
  } else {
      if (df4$B[i] == min(df4[i,5:8], na.rm = T)){
        B = rbind(B,1) 
      } else { B = rbind(B,0)}
  }
  if (is.na(df4$C[i])){
    C = rbind(C,0)
  } else {
      if (df4$C[i] == min(df4[i,5:8], na.rm = T)){
        C = rbind(C,1) 
      } else { C = rbind(C,0)}
  }
  if (is.na(df4$D[i])){
    D = rbind(D,0)
  } else {
      if (df4$D[i] == min(df4[i,5:8], na.rm = T)){
        D = rbind(D,1) 
      } else { D = rbind(D,0)}
  }
}

Substituindo as colunas preço por sua respectiva pontuação

df5 = df4
df5$A = as.numeric(A)
df5$B = as.numeric(B)
df5$C = as.numeric(C)
df5$D = as.numeric(D)

Finalmente podemos somar as pontuações e agregar por estado, resultando em uma tabela onde podemos facilmente conferir qual empresa tem mais produtos com melhor preço em cada Estado.

A_UF = aggregate(df5$A,by=list(UF=df5$UF),sum)
B_UF = aggregate(df5$B,by=list(UF1=df5$UF),sum)
C_UF = aggregate(df5$C,by=list(UF2=df5$UF),sum)
D_UF = aggregate(df5$D,by=list(UF3=df5$UF),sum)
comp_UF = cbind(A_UF,B_UF,C_UF,D_UF)
comp_UF = subset(comp_UF, select = -c(UF1,UF2,UF3))
colnames(comp_UF) = c('UF','A','B','C','D')

library(kableExtra)


kable(comp_UF, "html") %>% 
  kable_styling(bootstrap_options = c("striped","condensed", "bordered"), full_width = F) %>% 
 row_spec(1:NROW(comp_UF), color = "black") 

Em que departamentos as empresas tem um melhor preço?

Foi feita uma função para tornar menos repetitiva a tarefa e assim explorarmos também mais recursos da linguagem R. A função calcula a média de preços de uma loja por departamento e define um limite superior para a probabilidade de X ser maior do que a média somada a um salário mínimo(fev/2020 considerado), sendo X uma variável aleatória definida pela distribuição de preços dos produtos de cada loja.

Ou seja, a probabilidade de que algum produto tenha um preço acima da média por um salário mínimo, é no MÁXIMO a probabilidade fornecida pela desigualdade. O limite é dado pela Desigualdade de Markov, já que a média em cada loja é conhecida, os valores de qualquer produto são sempre positivos e a desigualdade não precisa assumir independência entre os preços.

\[ P(X > k + 1045) \leq \frac{E[X]}{k +1045} \] Também foi criada uma função auxiliar para os estilos. Os produtos que possuem parcelamento com juros foram removidos para facilitar os cálculos, já que não temos conhecimento das taxas.

options(digits = 5)
library(dplyr)
library(kableExtra)

# recebe um dataset e um caracter com as letras "A","B","C" ou "D"
select_loja <- function(dados, loja){
  
  dados %>% 
  filter(Loja == loja) %>% 
  filter(Juros == "sem juros") %>% 
  group_by(DPTO) %>% 
  transmute(preco = as.numeric(gsub(",",".", Preco)) * parcelas) %>% 
  summarise(preco_medio = mean(preco), "Markov(X > média+1045)" = mean(preco)/(mean(preco)+1045)) %>% 
  arrange(desc(preco_medio)) %>% 
  rename("Departamento" = DPTO,  "Preço médio" = preco_medio)
}

tabela_style <- function(tabela){
  kable(tabela, "html") %>% 
  kable_styling(bootstrap_options = c("striped","condensed", "bordered"), full_width = F) %>%
  row_spec(1:NROW(tabela), color = "black")
}

loja_A <- select_loja(dataset, "A")
tabela_style(loja_A)

library(dplyr)

loja_B <- select_loja(dataset, "B")
tabela_style(loja_B)

loja_C <- select_loja(dataset, "C")
tabela_style(loja_C)

loja_D <- select_loja(dataset, "D")
tabela_style(loja_D)

Melhores fretes por departamento

Quais seriam os melhores fretes por departamento? A média do preço de entrega(frete) foi usada para melhor avaliar essa questão. Na análise abaixo foram exploradas duas abordagens:

1. Incluir fretes gratuitos no cálculo das médias.
2. Considerar o cálculo das médias sem as gratuidades envolvidas.

A distribuição dos fretes mudou de forma significativa para alguns departamentos e também foram encontrados os melhores preços de entrega.

Foi utilizada a biblioteca dplyr para realizar as transformações necessárias no conjunto de dados e a biblioteca ggplot2 para gerar os gráficos.

library(ggplot2)
library(dplyr)
options(digits = 4)
fretes_por_dept <- dataset %>% 
  group_by(DPTO) %>%
  transmute(Frete = as.numeric(gsub(",",".", Frete))) %>% 
  filter(Frete > 0) %>% 
  summarise(media_frete = mean(Frete))

p <-  ggplot(data = fretes_por_dept,aes(x=DPTO, y=media_frete)) +
  geom_bar(stat="identity")

p <- p + labs(x = "Departamento", y ="Frete(R$)" ) +
  ggtitle("Preço médio do Frete por Departamento") + 
  coord_flip()

p

library(ggplot2)
options(digits = 4)
fretes_por_dept <- dataset %>% 
  group_by(DPTO) %>% 
  transmute(Frete = as.numeric(gsub(",",".", Frete))) %>% 
  summarise(media_frete = mean(Frete))

p2 <-  ggplot(data = fretes_por_dept,aes(x=DPTO, y=media_frete)) +
  geom_bar(stat="identity")

p2 <- p2 + labs(x = "Departamento", y ="Frete(R$)" ) + ylim(0,75) + ggtitle("Preço médio do Frete por Departamento(gratuidades inclusas)") + coord_flip()

p2

Comparando as distribuições do Frete por departamento

frete <- dataset %>% 
  mutate(Frete = as.numeric(gsub(",",".", Frete)))

ggplot(data = frete) + 
  geom_freqpoly(mapping = aes(Frete, colour = DPTO)) + 
  xlim(0, 500) +
  facet_wrap(~ DPTO, nrow = 2)

frete <- dataset %>% 
  mutate(Frete = as.numeric(gsub(",",".", Frete))) %>% 
  filter(Frete > 0) 

ggplot(data = frete) + 
  geom_freqpoly(mapping = aes(Frete, colour = DPTO)) + 
  facet_wrap(~ DPTO, nrow = 2)

frete <- dataset %>% 
  mutate(Frete = as.numeric(gsub(",",".", Frete)))

ggplot(data = frete) + 
  geom_freqpoly(mapping = aes(x = Frete, y=log(stat(count)), colour = DPTO)) + 
  facet_wrap(~ DPTO, nrow = 2)

frete <- dataset %>% 
  mutate(Frete = as.numeric(gsub(",",".", Frete))) %>% 
  filter(Frete > 0) 

ggplot(data = frete) + 
  geom_freqpoly(mapping = aes(x = Frete, y=log(stat(count)), colour = DPTO)) + 
  facet_wrap(~ DPTO, nrow = 2)

Ranqueando os fretes

library(kableExtra)

table_frete <- dataset %>% 
  group_by(DPTO) %>%
  select(Loja, DPTO, Frete) %>% 
  transmute(Frete = as.numeric(gsub(",",".", Frete))) %>% 
  filter(Frete > 0) %>% 
  distinct(Frete, .keep_all = TRUE) %>% 
  top_n(n=-3, wt = Frete) %>% 
  arrange(Frete)

kable(table_frete, "html") %>% 
  kable_styling(bootstrap_options = c("striped","condensed", "bordered"), full_width = F) %>% 
  row_spec(1:NROW(table_frete), color = "black")

table_frete <- dataset %>% 
  group_by(DPTO) %>%
  select(Loja, DPTO, Frete) %>% 
  transmute(Frete = as.numeric(gsub(",",".", Frete))) %>% 
  filter(Frete > 0) %>% 
  distinct(Frete, .keep_all = TRUE) %>% 
  top_n(n=3, wt = Frete) %>% 
  arrange(desc(Frete))

kable(table_frete, "html") %>% 
  kable_styling(bootstrap_options = c("striped","condensed", "bordered"), full_width = F) %>% 
  row_spec(1:NROW(table_frete), color = "black")

Mapa interativo

O mapa abaixo apresenta os melhores preços do Chromebook por Estado, sendo que o custo do frete foi incluído no valor total. Ele foi feito usando o pacote leaflet, que permite o uso personalizado dos arquivos com dados geográficos(shapefiles) obtidos no site do IBGE e carregados num formato adequado pelo pacote rgdal.

library(magrittr)
library(dplyr)

chromebook <- dataset[dataset$LINHA == 'CHROMEBOOK',]
chromebook <- chromebook[chromebook$parcelas == 1,]
chromebook$Preco <- as.numeric(gsub(",",".",chromebook$Preco))
chromebook$Frete <- as.numeric(gsub(",",".",chromebook$Frete))

by_uf_chromebook <- chromebook %>%
  group_by(UF) %>%
  arrange(Preco) %>% 
  top_n(n=-1, wt= Preco) %>% 
  distinct(Preco, .keep_all = TRUE) %>% 
  mutate(custo = Preco + Frete)

library(leaflet)
library(rgdal)

# carrega a shapefile
shp <- readOGR("mapa\\.", "BR_UF_2019", stringsAsFactors=FALSE, encoding="UTF-8")

## OGR data source with driver: ESRI Shapefile 
## Source: "C:\Users\Eduardo\Downloads\TrabEstatComp\mapa", layer: "BR_UF_2019"
## with 27 features
## It has 4 fields

# tabela com códigos das UFs
ibge <- read.csv("ibge_uf.csv", header=T,sep=",", encoding="UTF-8")[,2:4]
names(ibge) <- c("codigo", "nome_fed", "UF")

df_mapa <- merge(by_uf_chromebook,ibge, by.x = "UF", by.y = "UF")
df_mapa <- merge(shp, df_mapa, by.x = "CD_UF", by.y = "codigo")

proj4string(df_mapa) <- CRS("+proj=longlat +datum=WGS84 +no_defs")
Encoding(df_mapa$nome_fed) <- "UTF-8"
df_mapa$custo[is.na(df_mapa$custo)] <- 0


#cores do mapa
pal <- colorBin("BuPu",domain = NULL,c(0, 1100, 1200, 1250, 1350, 1400 , 1500, 1600))

state_popup <- paste0("<strong>Estado: </strong>", 
                      df_mapa$nome_fed, 
                      "<br><strong>Preço: </strong>", 
                      df_mapa$custo)

leaflet(data = df_mapa) %>%
  addProviderTiles("CartoDB.Positron") %>%
  addPolygons(fillColor = ~pal(df_mapa$custo), 
              fillOpacity = 0.8, 
              color = "#BDBDC3", 
              weight = 1, 
              popup = state_popup) %>%
  addLegend("bottomright", pal = pal, values = df_mapa$custo,
            title = "Melhores preços(+frete) do chromebook por Estado",
            opacity = 1)

É importante observar que só temos dados de 5 estados, por isso talvez o mapa poderia ter sido substítuido por outra representação gráfica, mas sua construção foi importante já que abre margem para outros tipos de análises.

Considerações finais

Após realizarmos as análises acima, vemos que a empresa A tem o maior índice de vitórias nos estados de SP e RJ, estados esses de extrema relevância no PIB brasileiro, o que deve se tratar de uma estratégia de negócio: investir e cortar margens para se tornar mais atrativo em regiões relevantes e, com isso, aumentar a venda em áreas que têm maior potencial de gerar altos ganhos para a empresa. Já em regiões mais afastadas como BA, GO e PR, quem vence a competição é a empresa D, enquanto em RS apenas a C possui oferta de itens. Ao voltarmos nossa análise para os departamentos, vemos que a empresa A possui o menor ticket médio em Eletrônicos e PC gamer, enquanto a B tem os menores valores em Telefonia e a C vence em PCs, Eletrodomésticos e Eletroportáteis. A visão de departamento também foi interessante de ser feita ao olhar para o frete, onde o departamento de produtos mais leves, que é o de Telefonia, é o que possui os menores fretes, enquanto o departamento de produtos mais pesado, que é o de Eletrodomésticos, possui os fretes mais elevados. Caso tivéssemos informações sobre as vendas das empresas, seria interessante avaliar o quanto a competitividade nos preços e fretes conversa com o volume vendido por cada competidor, verificando assim se estar com condições mais atraentes é uma estratégia certeira para se aumentar as vendas. Aprendemos muito com o trabalho em questão, e percebemos o quanto ainda temos para aprender e explorar. A cada análise que concluíamos percebíamos o quanto era possível ir além e polir ainda mais nossas análises. Acredito que conseguimos responder bem as perguntas às quais nos propusemos a responder, ainda que, como dito, sempre é possível um refinamento. Tivemos diversas dificuldades pelo caminho, desde entender e organizar os dados até utilizar ferramentas que nunca havíamos tentado usar, como criar o mapa interativo. Contudo, acreditamos que os resultados foram proveitosos.