Análise inicial dos dados de COVID

library(readr)
library(dplyr)
library(ggplot2)

df <- read_delim(
  "casosgravescovid.csv",
  delim = ";",
  quote = "",
  escape_backslash = FALSE,
  escape_double = FALSE,
  show_col_types = FALSE
)

# # Estrutura inicial
str(df)

spc_tbl_ [36,435 × 18] (S3: spec_tbl_df/tbl_df/tbl/data.frame)
 $ data_notificacao             : Date[1:36435], format: "2020-05-30" "2020-06-02" "2020-06-02" "2020-06-01" ...
 $ sexo                         : chr [1:36435] "Masculino" "Feminino" "Feminino" "Masculino" ...
 $ raca                         : chr [1:36435] "Branca" "Parda" "Parda" "Branca" ...
 $ etnia                        : logi [1:36435] NA NA NA NA NA NA ...
 $ idade                        : chr [1:36435] "53" "0" "86" "66" ...
 $ municipio_residencia         : chr [1:36435] "Recife" "Recife" "Recife" "Recife" ...
 $ bairro                       : chr [1:36435] "SAN MARTIN" "ALTO SANTA TEREZINHA" "ESPINHEIRO" "CASA FORTE" ...
 $ distrito_sanitario           : chr [1:36435] "V" "II" "III" "III" ...
 $ data_inicio_sintomas         : Date[1:36435], format: "2020-05-25" "2020-05-30" "2020-06-01" "2020-05-25" ...
 $ sintomas                     : chr [1:36435] "Febre, Tosse, Mialgia, Alteração/perda de olfato e/ou paladar" "Febre, Tosse, Dispneia, Saturação O2 < 95" "Dispneia, Saturação O2 < 95" NA ...
 $ outros_sintomas              : chr [1:36435] NA NA NA NA ...
 $ doencas_preexistentes        : chr [1:36435] NA NA NA NA ...
 $ outras_doencas_preexistentes : chr [1:36435] NA NA NA NA ...
 $ profissional_saude           : chr [1:36435] NA NA NA NA ...
 $ categoria_profissional       : chr [1:36435] NA NA NA NA ...
 $ classificacao_final          : chr [1:36435] "DESCARTADO" "INCONCLUSIVO" "DESCARTADO" "CONFIRMADO" ...
 $ evolucao                     : chr [1:36435] "ISOLAMENTO DOMICILIAR" "ISOLAMENTO DOMICILIAR" "INTERNADO LEITO DE ISOLAMENTO" "RECUPERADO" ...
 $ data_obito                   : chr [1:36435] NA NA NA NA ...
 - attr(*, "spec")=
  .. cols(
  ..   data_notificacao = col_date(format = ""),
  ..   sexo = col_character(),
  ..   raca = col_character(),
  ..   etnia = col_logical(),
  ..   idade = col_character(),
  ..   municipio_residencia = col_character(),
  ..   bairro = col_character(),
  ..   distrito_sanitario = col_character(),
  ..   data_inicio_sintomas = col_date(format = ""),
  ..   sintomas = col_character(),
  ..   outros_sintomas = col_character(),
  ..   doencas_preexistentes = col_character(),
  ..   `outras_doencas_preexistentes ` = col_character(),
  ..   profissional_saude = col_character(),
  ..   categoria_profissional = col_character(),
  ..   classificacao_final = col_character(),
  ..   evolucao = col_character(),
  ..   data_obito = col_character()
  .. )
 - attr(*, "problems")=<externalptr> 

# Estatísticas gerais
summary(df)

 data_notificacao         sexo               raca            etnia            idade           municipio_residencia
 Min.   :2020-02-26   Length:36435       Length:36435       Mode:logical   Length:36435       Length:36435        
 1st Qu.:2020-05-15   Class :character   Class :character   NA's:36435     Class :character   Class :character    
 Median :2020-11-14   Mode  :character   Mode  :character                  Mode  :character   Mode  :character    
 Mean   :2020-12-22                                                                                               
 3rd Qu.:2021-06-01                                                                                               
 Max.   :2022-06-13                                                                                               
    bairro          distrito_sanitario data_inicio_sintomas   sintomas         outros_sintomas   
 Length:36435       Length:36435       Min.   :2020-01-22   Length:36435       Length:36435      
 Class :character   Class :character   1st Qu.:2020-05-07   Class :character   Class :character  
 Mode  :character   Mode  :character   Median :2020-11-01   Mode  :character   Mode  :character  
                                       Mean   :2020-12-07                                        
                                       3rd Qu.:2021-05-11                                        
                                       Max.   :2022-06-11                                        
 doencas_preexistentes outras_doencas_preexistentes  profissional_saude categoria_profissional classificacao_final
 Length:36435          Length:36435                  Length:36435       Length:36435           Length:36435       
 Class :character      Class :character              Class :character   Class :character       Class :character   
 Mode  :character      Mode  :character              Mode  :character   Mode  :character       Mode  :character   
                                                                                                                  
                                                                                                                  
                                                                                                                  
   evolucao          data_obito       
 Length:36435       Length:36435      
 Class :character   Class :character  
 Mode  :character   Mode  :character  
                                      
                                      
                                      

# Verificar valores nulos
colSums(is.na(df))

             data_notificacao                          sexo                          raca 
                            0                             0                          6329 
                        etnia                         idade          municipio_residencia 
                        36435                             0                             0 
                       bairro            distrito_sanitario          data_inicio_sintomas 
                            0                             0                             0 
                     sintomas               outros_sintomas         doencas_preexistentes 
                         1958                         30461                         22737 
outras_doencas_preexistentes             profissional_saude        categoria_profissional 
                        28627                          9098                         33516 
          classificacao_final                      evolucao                    data_obito 
                            4                           978                         27086 

Limpeza e Engenharia de Dados

# Verificar duplicados
total_duplicados <- sum(duplicated(df))
total_duplicados

[1] 6

# Visualizar duplicados
duplicados <- df[duplicated(df), ]
head(duplicados)

# Remover duplicados
df <- df %>% distinct()

# Tratar datas
df <- df %>%
  mutate(
    data_notificacao = as.Date(data_notificacao, format = "%Y-%m-%d"),
    data_inicio_sintomas = as.Date(data_inicio_sintomas, format = "%Y-%m-%d"),
    data_obito = as.Date(data_obito, format = "%Y-%m-%d")
  )

Separar colunas multivaloradas

df <- df %>%
  mutate(id = row_number())

df_long <- df %>%
  mutate(id_paciente = row_number()) %>%
  mutate(
    sintomas = str_split(sintomas, ","),
    outros_sintomas = str_split(outros_sintomas, ","),
    doencas_preexistentes = str_split(doencas_preexistentes, ",")
  ) %>%
  unnest(sintomas) %>%
  unnest(outros_sintomas) %>%
  unnest(doencas_preexistentes) %>%
  mutate(across(c(sintomas, outros_sintomas, doencas_preexistentes), trimws))

str(df_long)

tibble [170,553 × 20] (S3: tbl_df/tbl/data.frame)
 $ data_notificacao             : Date[1:170553], format: "2020-05-30" "2020-05-30" "2020-05-30" "2020-05-30" ...
 $ sexo                         : chr [1:170553] "Masculino" "Masculino" "Masculino" "Masculino" ...
 $ raca                         : chr [1:170553] "Branca" "Branca" "Branca" "Branca" ...
 $ etnia                        : logi [1:170553] NA NA NA NA NA NA ...
 $ idade                        : chr [1:170553] "53" "53" "53" "53" ...
 $ municipio_residencia         : chr [1:170553] "Recife" "Recife" "Recife" "Recife" ...
 $ bairro                       : chr [1:170553] "SAN MARTIN" "SAN MARTIN" "SAN MARTIN" "SAN MARTIN" ...
 $ distrito_sanitario           : chr [1:170553] "V" "V" "V" "V" ...
 $ data_inicio_sintomas         : Date[1:170553], format: "2020-05-25" "2020-05-25" "2020-05-25" "2020-05-25" ...
 $ sintomas                     : chr [1:170553] "Febre" "Tosse" "Mialgia" "Alteração/perda de olfato e/ou paladar" ...
 $ outros_sintomas              : chr [1:170553] NA NA NA NA ...
 $ doencas_preexistentes        : chr [1:170553] NA NA NA NA ...
 $ outras_doencas_preexistentes : chr [1:170553] NA NA NA NA ...
 $ profissional_saude           : chr [1:170553] NA NA NA NA ...
 $ categoria_profissional       : chr [1:170553] NA NA NA NA ...
 $ classificacao_final          : chr [1:170553] "DESCARTADO" "DESCARTADO" "DESCARTADO" "DESCARTADO" ...
 $ evolucao                     : chr [1:170553] "ISOLAMENTO DOMICILIAR" "ISOLAMENTO DOMICILIAR" "ISOLAMENTO DOMICILIAR" "ISOLAMENTO DOMICILIAR" ...
 $ data_obito                   : Date[1:170553], format: NA NA NA NA ...
 $ id                           : int [1:170553] 1 1 1 1 2 2 2 2 3 3 ...
 $ id_paciente                  : int [1:170553] 1 1 1 1 2 2 2 2 3 3 ...

Visualizações iniciais

library(dplyr)
library(ggplot2)
library(purrr)
library(forcats)

# Identificar colunas categóricas (exceto ID)
colunas_categoricas <- df %>%
  select(where(is.character), where(is.factor)) %>%
  colnames()


# Função: gráfico por ID
plot_por_id <- function(col) {
  
  df_long %>%
    filter(!is.na(.data[[col]]), .data[[col]] != "") %>%
    count(id_paciente, .data[[col]]) %>%
    count(.data[[col]]) %>%  # total de IDs por categoria
    mutate(
      categoria = fct_reorder(.data[[col]], n)
    ) %>%
    ggplot(aes(x = categoria, y = n)) +
    geom_bar(stat = "identity", fill = "#2C7FB8") +
    coord_flip() +
    labs(
      title = paste("Distribuição por ID da coluna:", col),
      x = "Categoria",
      y = "Quantidade de IDs"
    ) +
    theme_minimal(base_size = 12)
}

# Gerar gráficos para cada coluna categórica
plots <- map(colunas_categoricas, plot_por_id)

plots

[[1]]

[[2]]

[[3]]

[[4]]

[[5]]

[[6]]

[[7]]

[[8]]

[[9]]

[[10]]

[[11]]

[[12]]

[[13]]

[[14]]

Visualizando colunas que ficaram com díficil visualização por gráfico

library(dplyr)
library(stringr)
library(purrr)
library(tidyr)

colunas <- c(
  "sintomas",
  "outros_sintomas",
  "doencas_preexistentes",
  "outras_doencas_preexistentes "
)

listar_unicos <- function(df, coluna) {
  df %>%
    select(all_of(coluna)) %>%
    filter(!is.na(.data[[coluna]])) %>%
    # explode valores separados por vírgula
    mutate(valor = str_split(.data[[coluna]], ",")) %>%
    unnest(valor) %>%
    mutate(valor = str_trim(valor)) %>%
    distinct(valor) %>%
    arrange(valor)
}

valores_unicos <- map(colunas, ~ listar_unicos(df, .x))

names(valores_unicos) <- colunas

valores_unicos