Introdução ao Dataset

O Yelp dataset é uma base de dados composta por várias informações de diversos estabelecimentos espalhados em 8 regiões metropolitanas distintas nos Estados Unidos e no Canadá das mais variadas categorias de serviços: shoppings, restaurantes, lojas, concessionárias, templos religiosos entre outros. O dataset é composto por 6.990.280 de reviews, 150.346 businesses (negócios, estabelecimentos e lojas) e 200.100 imagens. A primeira versão deste dataset foi lançada numa competição (o site oficial da competição não está mais disponível) em 2014 realizada pela Yelp, uma empresa norte-americana que possui sites e aplicativos voltados para avaliação de multiplos estabelecimentos comerciais. O dataset foi montado com a finalidade de servir para experimentos de NLP e análise de sentimento e foi disponibilizado para a comunidade acadêmica para exploração de outras análises (Dados sobre como se deu a coleta das informações não foram divulgados).

Dataset no Kaggle

Site oficial do Yelp Dataset

Introdução ao Problema

A avaliação dos clientes sobre determinada loja ou estabelecimento é um fator muito importante para medir a qualidade dos seus produtos, serviços e o nível de satisfação dos clientes. Isso permite que as empresas ajustem suas estratégias para melhor atender às necessidades do mercado e, assim, aumentem sua competitividade e fidelização de clientes.

A mudança das estações do ano podem causar variações nos diversos setores comerciais de um país. Isso gera impactos diretos na receita de muitas lojas e estabelecimentos que podem sofrer as consequências de imprevistos orçamentários inerentes a mudança no fluxo de clientes e as diferenças sazonais de oferta e demanda de determinados serviços. Compreender esses padrões sazonais ajuda as empresas a se prepararem melhor para enfrentar desafios econômicos e a aproveitarem oportunidades específicas de cada estação, a fim de agradar os clientes o máximo possível.

A partir da compreensão das avaliações dos clientes com o passar dos anos, é possível auxiliar os estabelecimentos a refletirem sobre as suas decisões financeiras que possam gerar melhores impactos para os seus negócios, seja no aumento dos serviços em determinada época, economia de recursos, criação de planejamentos estratégicos para os mêses do ano, entre outros, de maneira a produzir uma gestão visando a lucratividade de maneira mais eficiente.

Estabelecimentos por Estado

Aqui é possível ver a porcentagem de estabelecimentos por estado. Cada cor representa um Estado americano contendo a porcentagem de negócios registrados no dataset.

state_counts <- business %>%
  group_by(state) %>%
  summarise(count = n())

fig <- plot_ly(data=state_counts, labels=~state_counts$state, values=~state_counts$count, type = 'pie')%>% 
  layout(title=list(text = "% Estabelecimentos por Estado"), 
         legend=list(title=list(text='Estados')))
fig

Visualização no mapa

Aqui é possível visualizar o local de cada estabelecimento registrado no dataset no mapa mundi. As posições de cada estabelecimento é baseado nos atributos de latitude e longitude presentes no dataset. As cores de cada estabelecimento reflete o seu número de estrelas dado pelos clientes.

colors <- colorFactor(c("purple", "red", "orange", "black","blue"), domain = unique(business$stars))

map <- leaflet(business, width = "100%") %>%
  addProviderTiles("CartoDB.Positron") %>%
  addCircleMarkers(
    color = ~colors(business$stars),
    stroke = FALSE, fillOpacity = 0.5,
    lat = business$latitude,
    lng = business$longitude,
    clusterOptions = markerClusterOptions(),
    popup = as.character(head_business$name))
map

Categoria mais famosa (Restaurantes)

Nesta análise, estaremos coletando insights sobre os estabelecimentos que pertencem a categoria mais popular do dataset. Ao ordenarmos as categorias presentes em todo o dataset, vemos que a categoria de restaurantes é a mais famosa, seguido da categoria Food, que também envolve estabelecimentos do ramo alimentício. Nesta análise, iremos considerar ambas as categorias como uma só.

all_categories <- business %>%
  mutate(categories=strsplit(categories, ", "))
all_categories <- unlist(all_categories$categories)
all_categories <- table(all_categories)

all_categories_df <- as.data.frame(all_categories)
names(all_categories_df) <- c("Categoria", "Frequencia")

# Ordenar pela frequência em ordem decrescente
all_categories_df <- all_categories_df %>% arrange(desc(Frequencia))

# Mostrar a tabela de ocorrências por palavras
datatable(head(all_categories_df, 5), 
          options = list(pageLength = 5, 
                         autoWidth = TRUE, 
                         order = list(2, 'desc')))

Abaixo nós vemos os Top 5 estados com mais restaurantes na América do Norte (segundo os dados presentes no Yelp Dataset)

restaurants <- business %>% filter(str_detect(str_to_lower(categories), regex("restaurants|food", ignore_case = TRUE)))

state_restaurants_counts <- restaurants %>%
  group_by(state) %>%
  summarise(count = n()) %>%
  arrange(desc(count)) %>%
  head(5)

fig <- plot_ly(x=~state_restaurants_counts$state, y=~state_restaurants_counts$count, type = 'bar', colors = rainbow(5))%>% 
  layout(title=list(text = "% Restaurantes por Estado"), 
         legend=list(title=list(text='Estados')))
fig <- fig %>% layout(xaxis = list(title = 'Estados'), barmode = 'group')
fig <- fig %>% layout(yaxis = list(title = '# de restaurantes'), barmode = 'group')
fig

Top 5 Restaurantes

Na tabela abaixo nós vemos os restaurantes com maiores notas pelos clientes.

restaurants_review <- reviews %>%
  inner_join(restaurants, by = "business_id") %>%
  mutate(ano = year(date), mes = month(date))

restaurants_review %>%
  filter(stars.x >= 4) %>%
  group_by(business_id) %>%
  summarise(Count = n()) %>%
  arrange(desc(Count)) %>%
  head(5) %>% 
inner_join(restaurants, by = "business_id") %>%
select(name, Count) %>%
kable(caption = "Restaurantes com maior quantidade de avaliações com 4 estrelas ou mais.")

Já na tabela abaixo vemos os restaurantes mais comentados pelos clientes. Note que muitos deles fazem parte dos que possuem as maiores notas.

restaurants_review %>%
  group_by(business_id) %>%
  summarise(Count = n()) %>%
  arrange(desc(Count)) %>%
  head(5) %>% 
inner_join(restaurants, by = "business_id") %>%
select(name, Count) %>%
kable(caption = "Restaurantes mais populares (mais comentados)")

Como complemento, aqui estão os Dados sobre os restaurantes que recebem constantemente as menores notas.

restaurants_review %>%
  filter(stars.y < 3) %>%
  group_by(business_id) %>%
  summarise(Count = n()) %>%
  arrange(desc(Count)) %>%
  head(5) %>% 
inner_join(restaurants, by = "business_id") %>%
select(name, Count) %>%
kable(caption = "Restaurantes com maior quantidade de avaliações menor que 3 estrelas.")

A importância de saber os melhores restaurantes é incentivar os menores restaurantes os pontos de melhoria para que possam usar os estabelecimentos de maior renome ou popularidade como exemplos a serem seguidos.

Variação das Notas por mês

O gráfico em linha abaixo mostra a variação da média das notas dos restaurantes por mês. Isso é importante para saber o que esperar do comportamento de um cliente em determinada época do ano.

month_labels <- c("Jan", "Fev", "Mar", "Abr", "Mai", "Jun", 
                  "Jul", "Ago", "Set", "Out", "Nov", "Dez")

date_res_review <- reviews %>%
  inner_join(restaurants, by = "business_id") %>%
  mutate(ano = year(date), mes = month(date), mes_ano = paste(year(date), month(date), sep = "_")) %>%
  arrange(date)

mes_review <- date_res_review%>%
  group_by(mes) %>%
  summarise(media = mean(stars.x))

graph_date_res_review <- mes_review %>%
  ggplot(aes (x=mes, y=media)) +
  geom_line() +
  scale_x_continuous(breaks = 1:12, labels = month_labels) +
  labs(title = "Media das Notas por Mes",
       x = "Mes",
       y = "Media das Notas") +
  theme_minimal()

graph_date_res_review

Desvio padrão: 0.016698

Tendência de avaliação de restaurantes

A curva a seguir mostra a tendência de avaliação de restaurantes dos últimos anos (2005 até 2020). Essa análise é importante para que as estretégias dos restaurantes possam ser validadas como eficientes na conquista dos seus consumidores.

graph_ano_review <- date_res_review%>%
  group_by(ano) %>%
  summarise(media = mean(stars.x)) %>%
  ggplot(aes (x=ano, y=media, group = 1)) +
  geom_line(color = "blue")
  labs(title = "Media das Notas ao longo dos anos",
       x = "Meses",
       y = "Media das Notas") +
  theme_minimal()

graph_ano_review