Este documento organiza o script original em etapas executáveis e registra as principais contagens da preparação dos dados. As sementes, a estratégia de seleção das observações e o procedimento de divisão em treino e teste foram preservados do código fornecido.

Nota metodológica: este script divide as observações individualmente, de forma estratificada por class_embrapa. Não realiza a divisão nem a validação cruzada agrupadas por id_origem descritas na versão atual do TCC. Para reproduzir a metodologia do TCC, essa etapa precisa ser substituída pela divisão agrupada utilizada nas análises finais.

1 Preparação do ambiente

Instale os pacotes, caso necessário, antes de renderizar o documento (no Console do R):

install.packages(c("arrow", "dplyr", "tidyr"))
library(arrow)
library(dplyr)
library(tidyr)

2 Importação dos dados

O caminho do arquivo de entrada pode ser alterado no campo params do cabeçalho YAML ou por meio da opção Knit with Parameters do RStudio.

if (!file.exists(params$arquivo_parquet)) {
  stop("Arquivo Parquet não encontrado: ", params$arquivo_parquet)
}

dados_completos <- read_parquet(params$arquivo_parquet)

knitr::kable(
  data.frame(
    Indicador = c("Observações", "Variáveis"),
    Quantidade = c(nrow(dados_completos), ncol(dados_completos))
  ),
  caption = "Dimensões da base original"
)
Dimensões da base original
Indicador Quantidade
Observações 428866
Variáveis 83

3 Filtragem pela decisão Dirichlet

São excluídas as observações cuja decisão Dirichlet é REMOVE. A coluna decisao_dirichlet é mantida até o término do balanceamento, pois é necessária para distinguir registros CLEAN e ANALYZE.

dados_confiavel_aceitavel <- dados_completos %>%
  filter(decisao_dirichlet != "REMOVE")

tabela_classes <- as.data.frame(
  table(dados_confiavel_aceitavel$class_embrapa)
)
colnames(tabela_classes) <- c("Tipologia", "Observacoes")
knitr::kable(tabela_classes, caption = "Observações retidas por tipologia")
Observações retidas por tipologia
Tipologia Observacoes
DEG BIOLOGICA 4030
INTERMEDIARIO 11821
MISCELANEA 1391
PASTO COM ERVAS 23622
PASTO COM LENHOSAS 2273
PASTO PRODUTIVO 225872
REG NATURAL 16170
tabela_qualidade <- as.data.frame(
  table(
    dados_confiavel_aceitavel$class_embrapa,
    dados_confiavel_aceitavel$decisao_dirichlet
  )
)
colnames(tabela_qualidade) <- c("Tipologia", "Decisao_Dirichlet", "Observacoes")
knitr::kable(tabela_qualidade, caption = "Tipologia segundo a decisão Dirichlet")
Tipologia segundo a decisão Dirichlet
Tipologia Decisao_Dirichlet Observacoes
DEG BIOLOGICA ANALYZE 3295
INTERMEDIARIO ANALYZE 8840
MISCELANEA ANALYZE 1305
PASTO COM ERVAS ANALYZE 15692
PASTO COM LENHOSAS ANALYZE 2184
PASTO PRODUTIVO ANALYZE 23771
REG NATURAL ANALYZE 10282
DEG BIOLOGICA CLEAN 735
INTERMEDIARIO CLEAN 2981
MISCELANEA CLEAN 86
PASTO COM ERVAS CLEAN 7930
PASTO COM LENHOSAS CLEAN 89
PASTO PRODUTIVO CLEAN 202101
REG NATURAL CLEAN 5888

4 Construção da base balanceada

O critério adotado no código original é selecionar preferencialmente observações CLEAN. Quando uma tipologia tem pelo menos 1.391 observações nessa categoria, sorteiam-se 1.391 registros CLEAN; nas demais, são mantidas todas as observações CLEAN, completando a quantidade com sorteio entre as observações ANALYZE.

set.seed(22)
n_por_classe <- 1391

# Identificar previamente tipologias sem observações suficientes.
totais_disponiveis <- dados_confiavel_aceitavel %>%
  filter(decisao_dirichlet %in% c("CLEAN", "ANALYZE")) %>%
  count(class_embrapa, name = "n_disponivel")

if (any(totais_disponiveis$n_disponivel < n_por_classe)) {
  stop("Há tipologias com menos de ", n_por_classe,
       " observações disponíveis nas categorias CLEAN e ANALYZE.")
}

dados_balanceados <- dados_confiavel_aceitavel %>%
  group_by(class_embrapa) %>%
  group_modify(~ {
    confiavel <- .x %>%
      filter(decisao_dirichlet == "CLEAN")

    aceitavel <- .x %>%
      filter(decisao_dirichlet == "ANALYZE")

    n_confiavel <- nrow(confiavel)

    if (n_confiavel >= n_por_classe) {
      slice_sample(confiavel, n = n_por_classe)
    } else {
      n_complemento <- n_por_classe - n_confiavel
      bind_rows(
        confiavel,
        slice_sample(aceitavel, n = n_complemento)
      )
    }
  }) %>%
  ungroup()

knitr::kable(
  dados_balanceados %>%
    count(class_embrapa, decisao_dirichlet, name = "n"),
  caption = "Composição da amostra balanceada por tipologia e qualidade"
)
Composição da amostra balanceada por tipologia e qualidade
class_embrapa decisao_dirichlet n
DEG BIOLOGICA ANALYZE 656
DEG BIOLOGICA CLEAN 735
INTERMEDIARIO CLEAN 1391
MISCELANEA ANALYZE 1305
MISCELANEA CLEAN 86
PASTO COM ERVAS CLEAN 1391
PASTO COM LENHOSAS ANALYZE 1302
PASTO COM LENHOSAS CLEAN 89
PASTO PRODUTIVO CLEAN 1391
REG NATURAL CLEAN 1391

5 Seleção das variáveis e exportação

As colunas auxiliares presentes na lista original são removidas somente após o balanceamento. A inclusão de any_of() evita erro caso alguma delas não exista no arquivo de entrada.

colunas_remover <- c(
  "id", "md3", "year", "id_fonte", "id_origem", "fonte",
  "prod_escalar_1", "neuron", "N_vizinhanca",
  "classe_dominante", "n_dominante", "pureza",
  "posterior_normal", "posterior_dirichlet",
  "decisao_normal", "decisao_dirichlet",
  "mesma_decisao", "diferenca_posterior"
)

dados_balanceados <- dados_balanceados %>%
  select(-any_of(colunas_remover))

knitr::kable(
  dados_balanceados %>% count(class_embrapa, name = "Observacoes"),
  caption = "Total final de observações por tipologia"
)
Total final de observações por tipologia
class_embrapa Observacoes
DEG BIOLOGICA 1391
INTERMEDIARIO 1391
MISCELANEA 1391
PASTO COM ERVAS 1391
PASTO COM LENHOSAS 1391
PASTO PRODUTIVO 1391
REG NATURAL 1391
dir.create(dirname(params$arquivo_csv), recursive = TRUE, showWarnings = FALSE)
write.csv(dados_balanceados, params$arquivo_csv, row.names = FALSE)

6 Divisão em treinamento e teste

Esta etapa reproduz a divisão estratificada por tipologia do script original, realizada por linha (sem agrupamento geográfico). A proporção planejada é de aproximadamente 80% para treinamento e 20% para teste.

set.seed(22)

dados <- dados_balanceados %>%
  mutate(id_registro = row_number())

dados_divididos <- dados %>%
  group_by(class_embrapa) %>%
  mutate(
    ordem_sorteada = sample.int(n()),
    conjunto = if_else(
      ordem_sorteada <= round(0.80 * n()),
      "treino",
      "teste"
    )
  ) %>%
  ungroup() %>%
  select(-ordem_sorteada)

dados_treino <- dados_divididos %>%
  filter(conjunto == "treino")

dados_teste <- dados_divididos %>%
  filter(conjunto == "teste")

knitr::kable(
  dados_divididos %>% count(class_embrapa, conjunto, name = "n"),
  caption = "Distribuição estratificada entre treinamento e teste"
)
Distribuição estratificada entre treinamento e teste
class_embrapa conjunto n
DEG BIOLOGICA teste 278
DEG BIOLOGICA treino 1113
INTERMEDIARIO teste 278
INTERMEDIARIO treino 1113
MISCELANEA teste 278
MISCELANEA treino 1113
PASTO COM ERVAS teste 278
PASTO COM ERVAS treino 1113
PASTO COM LENHOSAS teste 278
PASTO COM LENHOSAS treino 1113
PASTO PRODUTIVO teste 278
PASTO PRODUTIVO treino 1113
REG NATURAL teste 278
REG NATURAL treino 1113

7 Criação dos cinco folds

As observações do conjunto de treinamento são distribuídas aleatoriamente entre cinco folds dentro de cada tipologia. O conjunto de teste não recebe identificador de fold.

set.seed(22)

dados_treino <- dados_treino %>%
  group_by(class_embrapa) %>%
  mutate(
    fold = paste0(
      "Fold",
      sample(rep(1:5, length.out = n()))
    )
  ) %>%
  ungroup()

dados_teste <- dados_teste %>%
  mutate(fold = NA_character_)

knitr::kable(
  dados_treino %>% count(class_embrapa, fold, name = "n"),
  caption = "Distribuição dos cinco folds por tipologia"
)
Distribuição dos cinco folds por tipologia
class_embrapa fold n
DEG BIOLOGICA Fold1 223
DEG BIOLOGICA Fold2 223
DEG BIOLOGICA Fold3 223
DEG BIOLOGICA Fold4 222
DEG BIOLOGICA Fold5 222
INTERMEDIARIO Fold1 223
INTERMEDIARIO Fold2 223
INTERMEDIARIO Fold3 223
INTERMEDIARIO Fold4 222
INTERMEDIARIO Fold5 222
MISCELANEA Fold1 223
MISCELANEA Fold2 223
MISCELANEA Fold3 223
MISCELANEA Fold4 222
MISCELANEA Fold5 222
PASTO COM ERVAS Fold1 223
PASTO COM ERVAS Fold2 223
PASTO COM ERVAS Fold3 223
PASTO COM ERVAS Fold4 222
PASTO COM ERVAS Fold5 222
PASTO COM LENHOSAS Fold1 223
PASTO COM LENHOSAS Fold2 223
PASTO COM LENHOSAS Fold3 223
PASTO COM LENHOSAS Fold4 222
PASTO COM LENHOSAS Fold5 222
PASTO PRODUTIVO Fold1 223
PASTO PRODUTIVO Fold2 223
PASTO PRODUTIVO Fold3 223
PASTO PRODUTIVO Fold4 222
PASTO PRODUTIVO Fold5 222
REG NATURAL Fold1 223
REG NATURAL Fold2 223
REG NATURAL Fold3 223
REG NATURAL Fold4 222
REG NATURAL Fold5 222

8 Salvamento do plano de validação

plano_validacao <- list(
  treino = dados_treino,
  teste = dados_teste,
  seed_divisao = 22,
  seed_folds = 22,
  k_folds = 5
)

dir.create(dirname(params$arquivo_rds), recursive = TRUE, showWarnings = FALSE)
saveRDS(plano_validacao, params$arquivo_rds)

knitr::kable(
  data.frame(
    Conjunto = c("Treinamento", "Teste"),
    Observacoes = c(nrow(dados_treino), nrow(dados_teste))
  ),
  caption = "Dimensões dos conjuntos exportados"
)
Dimensões dos conjuntos exportados
Conjunto Observacoes
Treinamento 7791
Teste 1946

9 Observações sobre a conversão