Análise de reclamações de
consumidores do setor financeiro

As empresas estão agradando os clientes ?

Dados coletados pela agência CFPB nos EUA.

Introdução

Agradar clientes é uma boa forma de preservar fidelidade e criar um negócio de sucesso. Uma das formas de agrada-los é observar o feedback que pode vir através de reclamações formais no CFPB. Será que as empresas estão se importanto em responder e agradar os clientes ? Quais empresas tendem a prejudicar mais os cliente ? Esse relatório busca responder parcialmente essas perguntas.

Contexto

Consumer Financial Protection Bureau (CFPB) é uma agencia governamental nos EUA com o objetivo de garantir que os consumidores tenham informações claras e transparentes sobre produtos ou serviços financeiros, bem como proteger os consumidores contra práticas financeiras abusivas. Essa agência coleta reclamações desde 2011, as quais são usadas para entender problemas, gerar relatórios, educar consumidores, aplicar penalidades, exigir correções, avaliar o impacto das políticas regulatórias existentes, orientar novas legislações e, resumidamente, promover justiça e buscar mudanças positivas no ambiente financeiro.

Explicação do problema

As reclamações coletadas estão disponíveis em consumerfinance.gov e estão acompanhadas de vários dados categóricos. As colunas issue e sub_issue, por exemplo, podem ser usadas para investigar as práticas de um empresa e concluir se está tudo dentro dos conformes. Infelizmente esse tipo de análise requer muito conhecimento específico do domínio, então esse projeto focará em rankear as empresas por quantidade de reclamações e responderá perguntas simples. O rank será feito entre os 11 tipos de produtos/serviços existentes e estratificado por ano. As perguntas simples que podem ser respondidas são:

  • Quais empresas e produtos recebem mais reclamações ?
  • Como as reclamações se distribuem pelas regiões ?
  • O que muda ao longo dos anos ?
  • Como as empresas respondem ?

Metodologia

Para responder as perguntas, os dados serão limpos e então agrupados de diversas formas. Vários tipos de gráficos serão usados e o rank de empresas será construído para os nichos produto X ano e problema X ano do produto com mais reclamação. Como existem centenas de empresas em cada tipo de produço/serviço, então cada rank será formado pelas empresas que aparecem no topo da quantidade de reclamações. Muitos dados serão usados para extrair insights que respondem essas perguntas de mais de uma forma.





Pacotes

Nome do Pacote Motivo
devtools Possibilita instalar o pacote kaggler.
kaggler Utiliza a API do Kaggle para baixar o dataset.
readr Ler CSV.
DT Mostrar tabela interativa
dplyr Manipulação eficiente dos dados e operador pipe(%>%).
tidyr Manipulação eficiente dos dados.
ggplot2 Plotar gráficos.
gridExtra Separar diferentes plots em grid.
maps Fornece funções para plotar mapas.
mapproj Fornece funções para mudar a projeção de um mapa.
Mostrar/Esconder código
# Define diretório raiz do projeto
setwd("C:/Users/Ed/Desktop/R_data_processing/") 
# Instala dependências não previamente instaladas
used_packages <- c(
  "devtools", "readr", 
  "lubridate", "DT", 
  "dplyr", "tidyr",
  "ggplot2", "gridExtra",
  "maps", "mapproj"
)
not_installed_packages <- used_packages[
  !(used_packages %in% installed.packages()[,"Package"])
]

if(length(not_installed_packages) > 0) {
  install.packages(
    not_installed_packages, 
    repos = "http://cran.us.r-project.org"
  )
}

if (!("kaggler" %in% installed.packages()[,"Package"])) {
  devtools::install_github("ldurazo/kaggler") # Instala o kaggler
}
library(devtools)       # Possibilita instalar o pacote kaggler.
library(kaggler)        # Utiliza a API do Kaggle para baixar o dataset.
library(readr)          # Ler CSV.
library(DT)             # Tabelas iterativas.
library(lubridate)      # Filtrar ano do tipo Date.
library(dplyr)          # Manipulação eficiente dos dados e operador pipe(`%>%`).
library(tidyr)          # Manipulação eficiente dos dados
library(ggplot2)        # criar visualizações mais complexas.
library(gridExtra)      # criar visualizações mais complexas.
library(maps)           # FFornece funções para plotar mapas.
library(mapproj)        # Fornece funções para mudar a projeção de um mapa.

Preparação dos dados

Download e carregamento dos dados

Os dados utilizados neste projeto foram gerados e disponibilizados pela Consumer Financial Protection Bureau (CFPB) e a versão mais recente pode ser acessada nesta URL. Uma versão do conjunto de dados com reclamações até o ano de 2016 foi disponibilizada no Kaggle, acessível através desta URL do Kaggle. A obtenção dos dados é automatizada por meio da biblioteca kaggler, que utiliza a API do Kaggle para baixar os arquivos. Posteriormente, o conjunto de dados é automaticamente extraído de uma pasta compactada e carregado utilizando a função read_csv. A tabela abaixo mostra como o dataset raw se parece.

Sobre a base de dados

Segundo o site da CFPB, apenas reclamações enviadas às empresas com om objetivo de obter uma resposta são elegíveis para publicação e são divulgadas somente após a resposta da empresa, confirmando uma resposta ou após 15 dias, o que ocorrer primeiro. O banco de dados geralmente é atualizado diariamente.

A CFPB também afirma que esse banco de dados não representa uma amostra estatística das experiências dos consumidores no mercado, e essas reclamações não necessariamente refletem todas as experiências dos consumidores com um produto financeiro ou empresa. Vale ressaltar que a quantidade de reclamações está relacionada ao tamanho da empresa (por exemplo, empresas com mais clientes talvez tenham mais reclamações em comparação a empresas menores), participação no mercado, percepção de prejuizo do cliente, tamanho da população do estado em que o serviço é ofertado, etc.

Detalhes técnicos das colunas

Originalmente, os dados possuem 18 colunas e 555.957 linhas. Entre essas colunas, duas contêm strings em formato de data, uma contém IDs numéricos, e uma é dedicada ao campo Consumer complaint narrative, que contém um texto qualquer elaborado pelo cliente que reclamou. As demais colunas são categóricas, com valores padronizados conforme descrito neste link do CFPG. Ao ler o csv, todas as colunas são do tipo chr[], exceto a coluna id que é lida como double.

Duas colunas que são usadas nesse projeto possuem valores NA: Consumer disputed? e state. Em Consumer disputed?, é atribuido NA a partir de 2017, pois esse dado foi descontinuado; Em state, não existe um motivo claro, mas talvez seja por motivos de privacidade. Outro detalhe, Timely response? e Consumer disputed? são colunas preenchidas com apenas “sim” ou “não”, indicando, respectivamente, se a empresa respondeu a reclamação dentro do prazo e se o consumidor disputou a resposta da empresa. Ainda vale ressaltar que a coluna sub_issue e company_public_response possuem 88% e 85% linhas com valores vazios. Por fim, existem centenas de empresas e os nomes das empresas são grandes, portanto é conveniente plotar os identificadores em vez do nome.


Mostrar/Esconder código
# Autenticação na API do kaggle passando a chave do usuário
kgl_auth(creds_file =
  'C:/Users/victo_000/Desktop/R_data_processing/.kaggle/kaggle.json'
)

# Download e descompactação do dataset
response <- kgl_datasets_download_all(owner_dataset = "kaggle/us-consumer-finance-complaints")
download.file(response[["url"]], "data/temp.zip", mode="wb")
unzip_result <- unzip("data/temp.zip", exdir = "data/", overwrite = TRUE)
# Lê CSV
consumer_complaints_raw <- read_csv(
  file = "data/consumer_complaints.csv",
  show_col_types = FALSE
)
# Tabela com visualizção interativa dos dados
datatable(
  data = consumer_complaints_raw[1:200, ],
  options = list(
    scrollX = TRUE,  # Ativar scroll horizontal na tabela
    columnDefs = list(list(
      targets = "_all", 
      className = "dt-center"
    ))
  )
)

Limpando dados raw

Para responder o problema proposto na introdução, é preciso limpar o dataset e as seguintes modificações são aplicadas:

  1. Filtrar colunas.
  2. Renomear colunas.
  3. Colocar o tipo Data em vez de string na coluna date_received e pegar somente o ano.
  4. Preencher as linhas vazias de company_public_response com "No response"
  5. Converter as colunas de “yes” e “no” para o tipo lógico.
  6. Transformar as siglas dos estados em nome completo.
  7. Acrescenta espaço depois da virgula na coluna issue.
  8. Converter as colunas categóricas para o tipo fator.
  9. Mapeia cada nome de empresa para um número inteiro.
  10. Traduz os valores em inglês.

O motivo de cada modificação, respectivamente, é:

  1. Reduz processamento desnecessário; Utiliza somente o que é necessário.
  2. Remove o caracter ‘?’ que dificulta o uso da coluna e encutar nomes grandes.
  3. Facilita agrupar e filtrar por ano.
  4. O valor fica vazio quando uma empresa não responde publicamente.
  5. Facilita usar essas colunas e deixa o código mais limpo.
  6. Permite plotar o heatmap dos EUA com informações sobre cada estado.
  7. Melhor visualização, uma vez que o autowrapper quebrar linha quando encontra espaço.
  8. Otimizar a manipulação dessas colunas, uma vez que só existem poucos valores únicos.
  9. Permite utilizar números em vez de nomes grandes nos gráficos.
  10. Para mostrar textos em português.

Mostrar/Esconder código
# Vetores com as traduções

product_translations <- c("Conta ou serviço bancario", "Emprestimo ao consumidor", 
            "Cartao de credito", "Relatorio de credito", "Cobrança de dividas",
            "Transferencias de dinheiro", "Emprestimo hipotecario", "Outro serviço financeiro",
            "Emprestimo de pagamento diario", "Cartao pre-pago", "Emprestimo estudantil")

public_response_translations  <- c(
  "A empresa acredita que a reclamacao foi causada principalmente por ações de terceiros fora do controle ou direção da empresa.",
  "A empresa acredita que a reclamacao é resultado de um erro isolado.",
  "A empresa acredita que a reclamacao está relacionada a uma politica ou procedimento descontinuado.",
  "A empresa acredita que a reclamacao representa uma oportunidade de melhoria para servir melhor aos consumidores.",
  "A empresa acredita que agiu adequadamente, conforme autorizado por contrato ou lei.",
  "A empresa acredita que a reclamação é resultado de um mal-entendido.",
  "A empresa não pode verificar ou contestar os fatos na reclamacao.",
  "A empresa opta por não fornecer uma resposta publica.",
  "A empresa contesta os fatos apresentados na reclamacao.",
  "A empresa respondeu o consumidor e a CFPB e opta por não fornecer uma resposta publica.",
  "Sem resposta em 180 dias."
)

response_to_consumer_translations <- c(
  "Fechada",
  "Fechada com explicacao",
  "Fechada com compensacao monetaria",
  "Fechada com compensacao não monetaria",
  "Fechada com compensacao",
  "Fechada sem compensacao",
  "Em andamento",
  "Resposta fora do prazo"
)

submitted_via_translations <- c("E-mail", "Fax", "Telefone", "Correio Postal", "Indicacao", "Web")


consumer_complaints_clean <- consumer_complaints_raw                  %>%
  select(date_received, product, company,                                 # 1.
         company_public_response, company_response_to_consumer,           # 1.
         state, issue, submitted_via,                                     # 1.
         timely_response, `consumer_disputed?`)                       %>% # 1.
  rename(consumer_disputed    = `consumer_disputed?`,                     # 2.
         response_to_consumer = company_response_to_consumer,             # 2.
         public_response      = company_public_response,                  # 2.
         year                 = date_received)                        %>% # 2.
  mutate(year = lubridate::year(as.Date(year, format = "%m/%d/%Y")))  %>% # 3.
  mutate(public_response = replace_na(                                    # 4.
                        public_response, "No response in 180 days"))  %>% # 4.
  mutate(timely_response = case_when(                                     # 5.
           tolower(timely_response) == "yes" ~ TRUE,                      # 5.
           tolower(timely_response) == "no" ~ FALSE,                      # 5.
           is.na(timely_response) ~ NA                                    # 5.
         ),                                                               # 5.
         consumer_disputed = case_when(                                   # 5.
           tolower(consumer_disputed) == "yes" ~ TRUE,                    # 5.
           tolower(consumer_disputed) == "no" ~ FALSE,                    # 5.
           is.na(consumer_disputed) ~ NA                                  # 5.
         )                                                                # 5.
        )                                                             %>% # 5.
  mutate(state = tolower(state.name[match(state, state.abb)]))        %>% # 6.
  mutate(issue = gsub(",", ", ", issue))                              %>% # 7.
  mutate(                                                                 # 8.
    product              = as.factor(product),                            # 8.
    year                 = as.factor(year),                               # 8.
    company              = as.factor(company),                            # 8.
    state                = as.factor(state),                              # 8.
    public_response      = as.factor(public_response),                    # 8.
    response_to_consumer = as.factor(response_to_consumer),               # 8.
    submitted_via        = as.factor(submitted_via),                      # 8.
    issue                = as.factor(issue)                               # 8.
  )                                                                   %>% # 8.
  mutate(id = as.integer(company))                                    %>% # 9.
  mutate(product = factor(product,                                        # 10.
                          levels  = levels(product),                      # 10.
                          labels  = product_translations),                # 10.
         public_response = factor(public_response,                        # 10.
                                  levels = levels(public_response),       # 10.
                                  labels = public_response_translations), # 10.
         response_to_consumer = factor(response_to_consumer,              # 10.
                              levels = levels(response_to_consumer),      # 10.
                              labels = response_to_consumer_translations),# 10.
         submitted_via = factor(submitted_via,                            # 10.
                                  levels = levels(submitted_via),         # 10.
                                  labels = submitted_via_translations))   # 10.

Descrição final das colunas

Após a limpeza, as colunas tem o tipos mostrados na tabela abaixo.

Nome da Coluna Tipo de Dado Descrição
year factor<numeric> Ano que a CFPB recebeu a reclamação.
product factor<character[]> Nome do produto ou serviço.
company factor<character[]> Nome da empresa.
public_response factor<character[]> Resposta pública fornecida ou não.
response_to_consumer factor<character[]> Desfechos possíveis de uma resposta da empresa.
state factor<character[]> Estado em que a reclamação foi feita.
issue factor<character[]> Problema identificado pelo consumidor.
submitted_via factor<character[]> Meio em que a reclamação foi enviada.
timely_response logical Empresa respondeu dentro de 15 dias ?
consumer_disputed logical Consumidor disputou a primeira respota ?
id integer Forma enxuta de representar o nome de uma empresa.

Tabela interativa dos dados limpos

Análise exploratória

Rank

Quais empresas e produtos recebem mais reclamações ?

Os números que aparecem em cima de cada barra são os ids das empresas. Para descobrir o nome da empresa, é necessário utilizar a busca por id na tabela abaixo.


Mostrar/Esconder código
df <- consumer_complaints_clean %>%
  select(id, company) %>%
  distinct() %>%
  arrange(id)

# Tabela iterativa para consultar nome da empresa a partir do ID
datatable(df, options = list(scrollX = TRUE, lengthMenu = c(1,5,20), pageLength = 1))


Agrupando por ano e produto, podemos contar quantas reclamações cada empresa recebeu e ver as top 5 empresas com mais reclamações. O gráfico abaixo evidencia que o serviço Empréstimo hipotecário (Mortgage) lidera as reclamações em todos os anos. Uma hipoteca é um emprestimo com uma condição de garantia que esse valor emprestado será devolvido na forma de venda (hipoteca). Nesse tipo de serviço, geralmente o emprestimo é usado para comprar um bem imóvel e, se o mutuário não conseguir pagar, o credor tem o direito de tomar posse da propriedade por meio do processo de execução hipotecária. Existem 2 fatores que provavelmente contribuem para explicar essas reclamações. Primeiro, em 2008, houve uma crise no mercado imobiliário dos EUA e muitos empréstimos arriscados foram concedidos; Segundo, a demanda por hipotecas aumenta em períodos econômicos estáveis. As hipotecas arriscadas e o aumento da demanda por hipotecas que isso gera em anos posteriores, provavelmente explicam o grande número de reclamações desse produto nos EUA no período de 2011 até 2016. Além disso o gráfico mostra mais uma informação: as empresas com mais reclamações costumam se manter no pódio em todas as categorias de produto e em todos os anos.

Mostrar/Esconder código
# Contagem das reclamações por produto, ano e empresa
top_companies <- consumer_complaints_clean %>%
  select(product, year, id) %>%
  group_by(product, year, id) %>%
  summarise(count = n()) %>%
  arrange(product, year, desc(count)) %>%
  group_by(product, year) %>%
  slice_head(n = 5)

# Criar o gráfico de barras facetado
p <- ggplot(top_companies, aes(x = reorder(id, -count), y = count, fill = product)) +
  geom_bar(stat = "identity", position = "dodge") +
  geom_text(aes(label = id), vjust = 0.5, size = 1.75, angle = 90) +
  facet_grid(year ~ product,
             scales = "free",
             labeller = label_wrap_gen(width = .5)) +
  labs(title = "Top 5 empresas com mais reclamações por produto e ano") +
  theme(axis.title.x = element_blank(),
        axis.text.x  = element_blank(),
        axis.ticks.x = element_blank(),
        axis.title.y = element_text(size = 0),
        text = element_text(size = 9.0),
        legend.position = "none")

ggsave("Top 5 empresas com mais reclamações por produto e ano.png", p)

Top 5 empresas com mais reclamações por produto e ano

Ao todo, existem 95 categorias de problemas atribuídos a uma reclamação e é possível relacionar os problemas com o serviço mortgage para afunilar essas categorias e gerar uma análise mais aprofundada. O gráfico abaixo coleta as 6 categorias de problemas relacionados com o produto mortgage e cria um top 5 das empresas com mais reclamações ao longos dos anos e separado por problema. Esse gráfico mostra que 2 problemas são mais muito mais prevalentes independente do ano e esses dois problemas possuem uma palavra chave em comum: loan. Esses problemas estão relacionados com taxas de juros, modifações de empréstimo, prazos de pagamento e garantia o que reforça um pouco a ideia de que muitas reclamações surgem como consequência da crise de 2008.

Mostrar/Esconder código
# Contagem das reclamações por produto, ano e empresa
top_companies <- consumer_complaints_clean %>%
  select(product, issue, year, id) %>%
  filter(product == "Emprestimo hipotecario") %>% # Afunila issues não relacionadas com hipoteca
  drop() %>%
  group_by(issue, year, id) %>%
  summarise(count = n()) %>%
  arrange(issue, year, desc(count)) %>%
  group_by(issue, year) %>%
  slice_head(n = 5)

# Criar o gráfico de barras facetado
p <- ggplot(top_companies, aes(x = reorder(id, -count), y = count, fill = issue)) +
  geom_bar(stat = "identity", position = "dodge") +
  geom_text(aes(label = id),
            position = position_fill(),
            vjust = 0.2, size = 1.675, angle = 90) +
  facet_grid(year ~ issue,
             scales = "free",
             labeller = label_wrap_gen(width = .5)) +
  labs(title = "Top 5 empresas com mais reclamacoes por problema e ano") +
  theme(axis.title.x=element_blank(),
        axis.text.x=element_blank(),
        axis.ticks.x=element_blank(),
        text = element_text(size = 10),
        axis.title.y = element_text(size = 0),
        legend.position = "none")

ggsave("Top 5 empresas com mais reclamações por problema e ano.png", p)

Top 5 empresas com mais reclamações por problema e ano

Distribuição geográfica

Como as reclamações se distribuem pelas regiões ?

Juntar as informações geográficas do pacote maps com a quantidade de reclamações por state, resulta no mapa de calor abaixo. Este mapa destaca um acúmulo significativo de reclamações nos estados da Califórnia, Flórida, Texas e Nova Iorque, enquanto o resto dos estados possui uma quantidade moderada levando em consideração que isso é a quantidade acumulada de alguns anos. É importante lembrar que esses estados com mais reclamações são os estaos mais populosos e, no caso da Flórida e California, também são estados com maior atividade econômica no setor financeiro.

Mostrar/Esconder código
# Count by state and plot map
counts_by_state.geo <- consumer_complaints_clean %>%
  filter(!is.na(state))  %>%
  group_by(state)        %>%
  summarise(count = n()) %>%
  mutate(region = state) %>%
  inner_join(map_data("state"), by = "region") %>%
  arrange(order)

plot_map <- ggplot(counts_by_state.geo, aes(long, lat)) +
  geom_polygon(aes(group = group, fill = count)) +
  scale_fill_gradient(low="lightblue", high="darkblue") +
  coord_map()

###############################################

# Count by state and plot bars
df <- consumer_complaints_clean %>%
  filter(!is.na(state))  %>%
  count(state)     %>%
  arrange(desc(n)) %>%
  head(15)

plot_bars <- ggplot(df, aes(x = n, y = reorder(state, n), fill = n)) +
  geom_col() +
  scale_fill_gradient(low="lightblue", high="darkblue") + 
  labs(title = "Reclamacoes por estado", x = NULL, y = NULL) +
  theme_minimal() +
  theme(legend.position = "none")

###############################################

grid.arrange(plot_map, plot_bars, ncol = 2, widths=c(0.6, 0.4))




Continuando a análise geográfica, é interessante criar um rank para as empresas nas regiões com maior atividade econômica (Flórida e California). Lembrando do gráfico anterior, é interessante também filtrar por empresas que oferecem o serviço de emprestimo hipotecário e plotar estratificado por ano. O gráfico resultante permite a visualização das top 5 empresas com mais reclamações em pares de 2 estados para cada ano. No ano de 2012, é visível que a categoria other aumentou desproporcionalmente somente na Flórida. Olhando para os dois problemas relacionados a loan, é visível que são mais recorrente na Flórida. No caso do problema Loan modification, colection, foreclosure, é notável uma maior quantidade de casos no eixo y à esquerda. Por fim, as empresas com mais reclamações novamente se mantem no topo ao longo dos anos, mesmo em estados diferentes.

Mostrar/Esconder código
# Filtra e agrupe para gerar o rank 
top_companies <- consumer_complaints_clean %>%
  filter(state %in% c("florida", "california") & product == "Emprestimo hipotecario") %>%
  group_by(issue, state, id, year) %>%
  summarise(count = n()) %>%
  arrange(issue, state, year, desc(count)) %>%
  group_by(issue, state, year) %>%
  slice_head(n = 5)

# Criar o gráfico de barras facetado por estado
p <- ggplot(top_companies, aes(x = reorder(id, -count), y = count, fill = issue, group = issue)) +
  geom_bar(stat = "identity", position = "dodge") +
  geom_text(aes(label = id),
            position = position_fill(),
            vjust = 0.2, size = 1.7, angle = 90) +
  facet_grid(issue ~ year + state,
             scales = "free",
             labeller = label_wrap_gen(width = .5)) +
  labs(title = "Top 5 empresas com mais reclamações na california e florida por problema") +
  theme(axis.title.x=element_blank(),
        axis.text.x=element_blank(),
        axis.ticks.x=element_blank(),
        text = element_text(size = 10),
        axis.title.y = element_text(size = 0),
        legend.position = "none")

ggsave("Top 5 empresas com mais reclamações na california e florida por problema.png", p)
p

Top 5 empresas com mais reclamações na california e florida por problema

Tendências

O que muda ao longo dos anos ?

O dataset tem dados de apenas alguns meses nos anos 2011 e 2016, portanto as tendências serão observadas de 2012 até 2015. Nesses anos é possível notar que a quantidade de reclamações tende a aumentar, o meio de recebimento web está sendo cada vez mais usado e a resposta fora do prazo aumentou muito em 2015. Observando as alturas de cada categoria em cada ano, é possível concluir que o meio de envio web e as respostas com alívio não monetário sempre foram as características mais prevalentes. Por fim, está evidente que a maioria das reclamações é respondida com uma explicação.

Mostrar/Esconder código
counts_by_year <- consumer_complaints_clean %>%
  filter(year != "2011" & year != "2016") %>%
  group_by(year) %>%
  summarise(count = n())

p <- ggplot(counts_by_year, aes(x = year, y = count)) +
  geom_bar(stat = "identity", fill = "darkblue") +
  labs(title = "Reclamacoes por Ano",
       x = NULL,
       y = NULL) +
  theme_minimal() +
  theme(panel.grid = element_blank(),
        panel.background = element_rect(fill = "white"),
        axis.line = element_line(color = "black")) +
  geom_smooth(aes(x = as.numeric(year), y = count), 
              method = "loess", 
              formula = y ~ x, 
              col = "purple", 
              position = position_nudge(x= -1),
              se = FALSE, 
              span = 1)
ggsave("Reclamacoes por Ano.png", p)

Reclamações por Ano

Mostrar/Esconder código
# Contagem das reclamações por ano e meio de submissão
submitted_via_trend <- consumer_complaints_clean %>%
  select(year, submitted_via)   %>%
  filter(year != "2011" & year != "2016")        %>%
  group_by(year, submitted_via) %>%
  summarise(count = n())        %>%
  arrange(desc(count))

# Criar o gráfico facetado
p <- ggplot(submitted_via_trend, 
                             aes(x = year, y = count, fill = submitted_via)) +
  geom_bar(stat = "identity", position = "dodge") +
  facet_wrap(~submitted_via, scales = "free_y", ncol = 2) +
  labs(title = "Meio de submissao por ano",
       x = NULL,
       y = NULL,
       fill = "Meio de Submissao") +
  theme_minimal() +
  theme(strip.text.x = element_text(size = 8, angle = 0))
ggsave("Meio de submissao por ano.png", p)

Meio de submissao por ano

Mostrar/Esconder código
# Contagem das reclamações por ano e meio de submissão
response_to_consumer_trend <- consumer_complaints_clean %>%
  select(year, response_to_consumer)   %>%
  filter(year != "2011" & year != "2016")               %>%
  group_by(year, response_to_consumer) %>%
  summarise(count = n())               %>%
  arrange(desc(count))

# Criar o gráfico facetado
p <- ggplot(response_to_consumer_trend, 
                             aes(x = year, y = count, fill = response_to_consumer)) +
  geom_bar(stat = "identity", position = "dodge") +
  facet_wrap(~response_to_consumer, scales = "free_y", ncol = 2) +
  labs(title = "Tipo de resposta por ano",
       x = NULL,
       y = NULL,
       fill = "Tipo de Resposta") +
  theme_minimal() +
  theme(strip.text.x = element_text(size = 8, angle = 0))
ggsave("Tipo de resposta por ano.png", p)

Tipo de resposta por ano

Respostas das empresas

Como as empresas respondem ?

Algumas colunas podem ser plotadas em gráficos de barras empilhadas ou circular para ilustrar como as empresas costumam responder as reclamções. O gráfico de barras mostra que 84,7% das empresas não respondem publicamente dentro de 180 dias e 9,4% escolhem não responder publicamente. Ainda nesse gráfico, uma pequena parte das empresas escolhe uma resposta pública. Já nos gráficos circulares, 97,5% das empresas respondem de forma pública ou privada à reclamação formal do cliente na agência e 79,8% dos clientes não disputam essa resposta. Por fim, podemos concluir que as empresas respondem aos clientes de forma privada dentro do prazo de 15 dias, mas preferem não vocalizar publicamente sua decisão.

Mostrar/Esconder código
counts <- consumer_complaints_clean %>%
  group_by(public_response) %>%
  summarise(count = n()) %>%
  arrange(desc(count)) %>%
  mutate(public_response = factor(public_response, levels = rev(public_response)),
         proportion      = count / sum(count) * 100,
         proportion_str  = ifelse(proportion >= 9.0, paste0(round(proportion, 1), "%"), ""))

ggplot(counts, aes(x = "", y = count, fill = public_response)) +
  geom_bar(stat = "identity", width = 1, color = "white") +
  geom_text(aes(label = proportion_str),
            position = position_stack(vjust = 0.5),
            size = 3.3) +
  labs(title = "Respostas da empresas",
       fill = "Tipos de Resposta que uma empresa pode escolher",
       x = NULL, y = NULL) +
  theme_void() +
  theme(legend.position = "right", 
        legend.direction = "vertical",
        legend.box.background = element_rect(
                                  fill = "lightgray", 
                                  color = "black", 
                                  size = 1, 
                                  linetype = "solid"),
        legend.margin = margin(t=4, b=4, l=4, r=5),
        plot.margin = margin(r = 20))

Mostrar/Esconder código
counts <- consumer_complaints_clean %>%
  group_by(timely_response) %>%
  summarise(count = n())    %>%
  mutate(proportion = count / sum(count) * 100,
         proportion_str = paste0(round(proportion, 1), "%"),
         fill_color = ifelse(timely_response, "green", "red"))

circle_plot_1 <- ggplot(counts, aes(x = "", y = count, fill = fill_color)) +
  geom_bar(stat = "identity", width = 1, color = "#40313f") +
  coord_polar(theta = "y") +
  geom_text(aes(label = proportion_str),
        position = position_stack(vjust = 0.5),
        size = 3.3) +
  theme_void() +
  scale_fill_manual(values = c("green", "red"),
                    name = "Respondeu dentro de 15 dias ?",
                    labels = c("Sim", "Nao")) +
  theme_void() +
  theme(legend.position = "top", 
        legend.direction = "horizontal",
        legend.box.background = element_rect(
                                  fill = "lightgray", 
                                  color = "black",
                                  linetype = "solid"),
        legend.margin = margin(t=4, b=4, l=4, r=5))

###########################################

counts <- consumer_complaints_clean %>%
  group_by(consumer_disputed) %>%
  summarise(count = n()) %>%
  mutate(proportion = count / sum(count) * 100,
         proportion_str = paste0(round(proportion, 1), "%"),
         fill_color = ifelse(consumer_disputed, "green", "red"))

circle_plot_2 <- ggplot(counts, aes(x = "", y = count, fill = fill_color)) +
  geom_bar(stat = "identity", width = 1, color = "#40313f") +
  coord_polar(theta = "y") +
  geom_text(aes(label = proportion_str),
        position = position_stack(vjust = 0.5),
        size = 3.3) +
  theme_void() +
  scale_fill_manual(values = c("green", "red"),
                    name = "Cliente disputou a resposta ?",
                    labels = c("Sim", "Nao")) +
  theme_void() +
  theme(legend.position = "top", 
        legend.direction = "horizontal",
        legend.box.background = element_rect(
                                  fill = "lightgray", 
                                  color = "black", 
                                  linetype = "solid"),
        legend.margin = margin(t=4, b=4, l=4, r=5))

###########################################

grid.arrange(circle_plot_1, circle_plot_2, ncol = 2, widths=c(0.5, 0.5))

Conclusão

O objetivo

O objetivo desse projeto é descobrir se as empresas agradam os clientes e quais empresas prejudicam mais os clientes.

O que foi realizado ?

Para investigar o prejuizo, as empresas foram divididas em nichos e rankeadas por quantidade de reclamações. Para continuar a investigação e entender mais sobre como as empresas tentam agradas os clientes, foi vizualizado como as empresas costumam responder os clientes, se os clientes disputam essa resposta e se a empresa responde rapidamente.

Descobertas

É de se esperar que os estados mais populosos e com mais atividades financeiras concentrem mais reclamações, porem foi descoberto que a maioria das reclamações também está concentrada nas mesmas empresas de cada nicho durante 2011 até 2016. Indo mais afundo no nicho de empréstimos hipotecários, foi descoberto que problemas com taxas de juros, modifações de empréstimo, prazos de pagamento e garantia concentram quase todas as reclamações. Também foi observado que as empresas costumam respondem dentro do prazo e costumam não vocalizar publicamente essa resposta. Os clientes não costumam disputar as respostas, mesmo que não existe alívio monetário na maioria delas.

Conclusões

Ver quais empresas tem mais reclamações é uma informação que mostra o prejuizo que as práticas financeiras tem nos clientes, mas é preciso de mais conhecimento de domínio para encontrar evidências de práticas abusivas ou problemas no meio de empresas que podem estar operando de forma legítma e com uma quantidade de reclamações normal. Porde-se concluir que os clientes parecem estar satisfeitos com as respostas (que foram aceitas e poucas vezes disputadas), apesar de não receber alívio monetário.

Limitações

É necessário mais conhecimento do domínio para responder as perguntas principais por completo e esse conjunto de dados é mais útil quando enriquecido com outros conjuntos de dados. Esse projeto não utilizou outros dados que poderiam permitir descobertas mais aprofundadas. Como existem milhares de empresas, o rank não tem espaço para mostrar tudo e, então, apenas a quantidade de reclamações de poucas empresas foi visualizado. Existe quase uma centena de problemas reclacionadas as reclamações e esse trabalho só explora 6 deles.