# --- Estratégia de Persistência em Disco (RAM Constante) ---
library(vroom)
library(dplyr)
library(janitor)
library(readr) # Pacote necessário para o salvamento incremental

# 1. Mapeia todos os 28 arquivos .txt
arquivos_caged <- list.files(
  path       = "dados_brutos",
  pattern    = "\\.txt$",
  full.names = TRUE
)

# Definimos o nome do arquivo único que será criado na raiz
arquivo_final_pe <- "dados_pe_consolidados.csv"

# Se esse arquivo já existir de alguma rodada anterior, deletamos para evitar duplicar
if (file.exists(arquivo_final_pe)) {
  file.remove(arquivo_final_pe)
}

# 2. Laço 'for' processando e jogando o resultado no SSD
for (i in seq_along(arquivos_caged)) {
  arquivo_atual <- arquivos_caged[i]
  cat("Processando arquivo ", i, " de ", length(arquivos_caged), ": ", basename(arquivo_atual), "\n", sep = "")
  
  # Leitura temporária do mês inteiro (Brasil)
  df_mes_completo <- vroom(arquivo_atual, delim = ";", show_col_types = FALSE) %>% 
    clean_names()
  
  # Filtra apenas Pernambuco
  df_pe <- df_mes_completo %>% 
    filter(uf == 26) %>% 
    as.data.frame() 
  
  # Salva direto no arquivo físico.
  # Se i == 1 (primeiro mês), ele cria o arquivo com cabeçalho.
  # Se i > 1, ele apenas adiciona (append) as novas linhas no final.
  write_delim(df_pe, file = arquivo_final_pe, delim = ";", append = (i > 1))
  
  # Liberação de RAM para a próxima rodada
  rm(df_mes_completo, df_pe)
  gc()
}

# 3. Agora que o arquivo de Pernambuco está consolidado, lemos ele de uma vez.
cat("\n[Sucesso] Criado arquivo em disco. Carregando dados estáveis de PE...\n")

dados_pe_brutos <- vroom(arquivo_final_pe, delim = ";", show_col_types = FALSE)

print(paste("Registros carregados de Pernambuco com sucesso:", format(nrow(dados_pe_brutos), big.mark=".")))

# --- 1. Carregamento Seguro das Tabelas Auxiliares do Excel na Raiz ---
aux_cnae <- read_excel("Layout Não-identificado Novo Caged Movimentação.xlsx", sheet = "subclasse") %>%
  select(codigo = `Código`, descricao_cnae = `Descrição`) %>%
  mutate(codigo = as.character(codigo))

aux_cbo <- read_excel("Layout Não-identificado Novo Caged Movimentação.xlsx", sheet = "cbo2002ocupação") %>%
  select(codigo = `Código`, descricao_cbo = `Descrição`) %>%
  mutate(codigo = as.character(codigo))

aux_escolaridade <- read_excel("Layout Não-identificado Novo Caged Movimentação.xlsx", sheet = "graudeinstrução") %>%
  select(codigo = `Código`, descricao_escolaridade = `Descrição`) %>%
  mutate(codigo = as.integer(codigo))

aux_sexo <- read_excel("Layout Não-identificado Novo Caged Movimentação.xlsx", sheet = "sexo") %>%
  select(codigo = `Código`, genero = `Descrição`) %>%
  mutate(codigo = as.integer(codigo))

# --- 2. Processamento e Cruzamento do Dataset Principal ---
dados_pe_limpos <- dados_pe_brutos %>%
  # Alinhando os tipos de dados para o cruzamento
  mutate(
    subclasse       = as.character(subclasse),
    cbo2002ocupacao = as.character(cbo2002ocupacao),
    graudeinstrucao = as.integer(graudeinstrucao),
    sexo            = as.integer(sexo)
  ) %>%
  # Realizando os cruzamentos
  left_join(aux_cnae,         by = c("subclasse"       = "codigo")) %>%
  left_join(aux_cbo,          by = c("cbo2002ocupacao" = "codigo")) %>%
  left_join(aux_escolaridade, by = c("graudeinstrucao" = "codigo")) %>%
  left_join(aux_sexo,         by = c("sexo"            = "codigo")) %>%
  
  # --- 3. Engenharia de Variáveis e Sazonalidade ---
  mutate(
    saldo    = if_else(saldomovimentacao == 1, 1L, -1L),
    mes      = ym(competenciamov),
    ano      = year(mes),
    nome_mes = month(mes, label = TRUE, abbr = FALSE)
  ) %>%
  
  # --- 4. Filtro (remoção de NAs) ---
  filter(
    !is.na(descricao_cnae), 
    !is.na(descricao_cbo), 
    !is.na(descricao_escolaridade)
  )

dados_pe_limpos %>%
  select(mes, descricao_cnae, descricao_cbo, descricao_escolaridade,
         genero, idade, salario, saldo) %>%
  head(10) %>%
  datatable(
    options = list(pageLength = 5, scrollX = TRUE),
    caption = "Tabela 1: Amostra dos Dados Consolidados do Novo CAGED — Pernambuco."
  )

# Resumo das dimensões e variáveis
tibble(
  Variável    = c("Período coberto", "Total de registros (PE)",
                  "Admissões", "Desligamentos", "Saldo líquido"),
  Valor       = c(
    paste(min(dados_pe_limpos$mes), "a", max(dados_pe_limpos$mes)),
    format(nrow(dados_pe_limpos), big.mark = "."),
    format(sum(dados_pe_limpos$saldo ==  1), big.mark = "."),
    format(sum(dados_pe_limpos$saldo == -1), big.mark = "."),
    format(sum(dados_pe_limpos$saldo),       big.mark = ".")
  )
) %>%
  knitr::kable(caption = "Tabela 2: Resumo do Dataset Tratado.")