Este documento organiza o script original em etapas executáveis e registra as principais contagens da preparação dos dados. As sementes, a estratégia de seleção das observações e o procedimento de divisão em treino e teste foram preservados do código fornecido.
Nota metodológica: este script divide as observações individualmente, de forma estratificada por
class_embrapa. Não realiza a divisão nem a validação cruzada agrupadas porid_origemdescritas na versão atual do TCC. Para reproduzir a metodologia do TCC, essa etapa precisa ser substituída pela divisão agrupada utilizada nas análises finais.
Instale os pacotes, caso necessário, antes de renderizar o documento (no Console do R):
install.packages(c("arrow", "dplyr", "tidyr"))
library(arrow)
library(dplyr)
library(tidyr)
O caminho do arquivo de entrada pode ser alterado no campo
params do cabeçalho YAML ou por meio da opção Knit with
Parameters do RStudio.
if (!file.exists(params$arquivo_parquet)) {
stop("Arquivo Parquet não encontrado: ", params$arquivo_parquet)
}
dados_completos <- read_parquet(params$arquivo_parquet)
knitr::kable(
data.frame(
Indicador = c("Observações", "Variáveis"),
Quantidade = c(nrow(dados_completos), ncol(dados_completos))
),
caption = "Dimensões da base original"
)
| Indicador | Quantidade |
|---|---|
| Observações | 428866 |
| Variáveis | 83 |
São excluídas as observações cuja decisão Dirichlet é
REMOVE. A coluna decisao_dirichlet é mantida
até o término do balanceamento, pois é necessária para distinguir
registros CLEAN e ANALYZE.
dados_confiavel_aceitavel <- dados_completos %>%
filter(decisao_dirichlet != "REMOVE")
tabela_classes <- as.data.frame(
table(dados_confiavel_aceitavel$class_embrapa)
)
colnames(tabela_classes) <- c("Tipologia", "Observacoes")
knitr::kable(tabela_classes, caption = "Observações retidas por tipologia")
| Tipologia | Observacoes |
|---|---|
| DEG BIOLOGICA | 4030 |
| INTERMEDIARIO | 11821 |
| MISCELANEA | 1391 |
| PASTO COM ERVAS | 23622 |
| PASTO COM LENHOSAS | 2273 |
| PASTO PRODUTIVO | 225872 |
| REG NATURAL | 16170 |
tabela_qualidade <- as.data.frame(
table(
dados_confiavel_aceitavel$class_embrapa,
dados_confiavel_aceitavel$decisao_dirichlet
)
)
colnames(tabela_qualidade) <- c("Tipologia", "Decisao_Dirichlet", "Observacoes")
knitr::kable(tabela_qualidade, caption = "Tipologia segundo a decisão Dirichlet")
| Tipologia | Decisao_Dirichlet | Observacoes |
|---|---|---|
| DEG BIOLOGICA | ANALYZE | 3295 |
| INTERMEDIARIO | ANALYZE | 8840 |
| MISCELANEA | ANALYZE | 1305 |
| PASTO COM ERVAS | ANALYZE | 15692 |
| PASTO COM LENHOSAS | ANALYZE | 2184 |
| PASTO PRODUTIVO | ANALYZE | 23771 |
| REG NATURAL | ANALYZE | 10282 |
| DEG BIOLOGICA | CLEAN | 735 |
| INTERMEDIARIO | CLEAN | 2981 |
| MISCELANEA | CLEAN | 86 |
| PASTO COM ERVAS | CLEAN | 7930 |
| PASTO COM LENHOSAS | CLEAN | 89 |
| PASTO PRODUTIVO | CLEAN | 202101 |
| REG NATURAL | CLEAN | 5888 |
O critério adotado no código original é selecionar preferencialmente
observações CLEAN. Quando uma tipologia tem pelo menos
1.391 observações nessa categoria, sorteiam-se 1.391 registros
CLEAN; nas demais, são mantidas todas as observações
CLEAN, completando a quantidade com sorteio entre as
observações ANALYZE.
set.seed(22)
n_por_classe <- 1391
# Identificar previamente tipologias sem observações suficientes.
totais_disponiveis <- dados_confiavel_aceitavel %>%
filter(decisao_dirichlet %in% c("CLEAN", "ANALYZE")) %>%
count(class_embrapa, name = "n_disponivel")
if (any(totais_disponiveis$n_disponivel < n_por_classe)) {
stop("Há tipologias com menos de ", n_por_classe,
" observações disponíveis nas categorias CLEAN e ANALYZE.")
}
dados_balanceados <- dados_confiavel_aceitavel %>%
group_by(class_embrapa) %>%
group_modify(~ {
confiavel <- .x %>%
filter(decisao_dirichlet == "CLEAN")
aceitavel <- .x %>%
filter(decisao_dirichlet == "ANALYZE")
n_confiavel <- nrow(confiavel)
if (n_confiavel >= n_por_classe) {
slice_sample(confiavel, n = n_por_classe)
} else {
n_complemento <- n_por_classe - n_confiavel
bind_rows(
confiavel,
slice_sample(aceitavel, n = n_complemento)
)
}
}) %>%
ungroup()
knitr::kable(
dados_balanceados %>%
count(class_embrapa, decisao_dirichlet, name = "n"),
caption = "Composição da amostra balanceada por tipologia e qualidade"
)
| class_embrapa | decisao_dirichlet | n |
|---|---|---|
| DEG BIOLOGICA | ANALYZE | 656 |
| DEG BIOLOGICA | CLEAN | 735 |
| INTERMEDIARIO | CLEAN | 1391 |
| MISCELANEA | ANALYZE | 1305 |
| MISCELANEA | CLEAN | 86 |
| PASTO COM ERVAS | CLEAN | 1391 |
| PASTO COM LENHOSAS | ANALYZE | 1302 |
| PASTO COM LENHOSAS | CLEAN | 89 |
| PASTO PRODUTIVO | CLEAN | 1391 |
| REG NATURAL | CLEAN | 1391 |
As colunas auxiliares presentes na lista original são removidas
somente após o balanceamento. A inclusão de any_of() evita
erro caso alguma delas não exista no arquivo de entrada.
colunas_remover <- c(
"id", "md3", "year", "id_fonte", "id_origem", "fonte",
"prod_escalar_1", "neuron", "N_vizinhanca",
"classe_dominante", "n_dominante", "pureza",
"posterior_normal", "posterior_dirichlet",
"decisao_normal", "decisao_dirichlet",
"mesma_decisao", "diferenca_posterior"
)
dados_balanceados <- dados_balanceados %>%
select(-any_of(colunas_remover))
knitr::kable(
dados_balanceados %>% count(class_embrapa, name = "Observacoes"),
caption = "Total final de observações por tipologia"
)
| class_embrapa | Observacoes |
|---|---|
| DEG BIOLOGICA | 1391 |
| INTERMEDIARIO | 1391 |
| MISCELANEA | 1391 |
| PASTO COM ERVAS | 1391 |
| PASTO COM LENHOSAS | 1391 |
| PASTO PRODUTIVO | 1391 |
| REG NATURAL | 1391 |
dir.create(dirname(params$arquivo_csv), recursive = TRUE, showWarnings = FALSE)
write.csv(dados_balanceados, params$arquivo_csv, row.names = FALSE)
Esta etapa reproduz a divisão estratificada por tipologia do script original, realizada por linha (sem agrupamento geográfico). A proporção planejada é de aproximadamente 80% para treinamento e 20% para teste.
set.seed(22)
dados <- dados_balanceados %>%
mutate(id_registro = row_number())
dados_divididos <- dados %>%
group_by(class_embrapa) %>%
mutate(
ordem_sorteada = sample.int(n()),
conjunto = if_else(
ordem_sorteada <= round(0.80 * n()),
"treino",
"teste"
)
) %>%
ungroup() %>%
select(-ordem_sorteada)
dados_treino <- dados_divididos %>%
filter(conjunto == "treino")
dados_teste <- dados_divididos %>%
filter(conjunto == "teste")
knitr::kable(
dados_divididos %>% count(class_embrapa, conjunto, name = "n"),
caption = "Distribuição estratificada entre treinamento e teste"
)
| class_embrapa | conjunto | n |
|---|---|---|
| DEG BIOLOGICA | teste | 278 |
| DEG BIOLOGICA | treino | 1113 |
| INTERMEDIARIO | teste | 278 |
| INTERMEDIARIO | treino | 1113 |
| MISCELANEA | teste | 278 |
| MISCELANEA | treino | 1113 |
| PASTO COM ERVAS | teste | 278 |
| PASTO COM ERVAS | treino | 1113 |
| PASTO COM LENHOSAS | teste | 278 |
| PASTO COM LENHOSAS | treino | 1113 |
| PASTO PRODUTIVO | teste | 278 |
| PASTO PRODUTIVO | treino | 1113 |
| REG NATURAL | teste | 278 |
| REG NATURAL | treino | 1113 |
As observações do conjunto de treinamento são distribuídas aleatoriamente entre cinco folds dentro de cada tipologia. O conjunto de teste não recebe identificador de fold.
set.seed(22)
dados_treino <- dados_treino %>%
group_by(class_embrapa) %>%
mutate(
fold = paste0(
"Fold",
sample(rep(1:5, length.out = n()))
)
) %>%
ungroup()
dados_teste <- dados_teste %>%
mutate(fold = NA_character_)
knitr::kable(
dados_treino %>% count(class_embrapa, fold, name = "n"),
caption = "Distribuição dos cinco folds por tipologia"
)
| class_embrapa | fold | n |
|---|---|---|
| DEG BIOLOGICA | Fold1 | 223 |
| DEG BIOLOGICA | Fold2 | 223 |
| DEG BIOLOGICA | Fold3 | 223 |
| DEG BIOLOGICA | Fold4 | 222 |
| DEG BIOLOGICA | Fold5 | 222 |
| INTERMEDIARIO | Fold1 | 223 |
| INTERMEDIARIO | Fold2 | 223 |
| INTERMEDIARIO | Fold3 | 223 |
| INTERMEDIARIO | Fold4 | 222 |
| INTERMEDIARIO | Fold5 | 222 |
| MISCELANEA | Fold1 | 223 |
| MISCELANEA | Fold2 | 223 |
| MISCELANEA | Fold3 | 223 |
| MISCELANEA | Fold4 | 222 |
| MISCELANEA | Fold5 | 222 |
| PASTO COM ERVAS | Fold1 | 223 |
| PASTO COM ERVAS | Fold2 | 223 |
| PASTO COM ERVAS | Fold3 | 223 |
| PASTO COM ERVAS | Fold4 | 222 |
| PASTO COM ERVAS | Fold5 | 222 |
| PASTO COM LENHOSAS | Fold1 | 223 |
| PASTO COM LENHOSAS | Fold2 | 223 |
| PASTO COM LENHOSAS | Fold3 | 223 |
| PASTO COM LENHOSAS | Fold4 | 222 |
| PASTO COM LENHOSAS | Fold5 | 222 |
| PASTO PRODUTIVO | Fold1 | 223 |
| PASTO PRODUTIVO | Fold2 | 223 |
| PASTO PRODUTIVO | Fold3 | 223 |
| PASTO PRODUTIVO | Fold4 | 222 |
| PASTO PRODUTIVO | Fold5 | 222 |
| REG NATURAL | Fold1 | 223 |
| REG NATURAL | Fold2 | 223 |
| REG NATURAL | Fold3 | 223 |
| REG NATURAL | Fold4 | 222 |
| REG NATURAL | Fold5 | 222 |
plano_validacao <- list(
treino = dados_treino,
teste = dados_teste,
seed_divisao = 22,
seed_folds = 22,
k_folds = 5
)
dir.create(dirname(params$arquivo_rds), recursive = TRUE, showWarnings = FALSE)
saveRDS(plano_validacao, params$arquivo_rds)
knitr::kable(
data.frame(
Conjunto = c("Treinamento", "Teste"),
Observacoes = c(nrow(dados_treino), nrow(dados_teste))
),
caption = "Dimensões dos conjuntos exportados"
)
| Conjunto | Observacoes |
|---|---|
| Treinamento | 7791 |
| Teste | 1946 |
rm(list = ls()) foi retirado porque o R
Markdown executa os blocos em um ambiente de renderização próprio.View() foram substituídos por
tabelas no relatório.decisao_dirichlet era excluída antes de
ser reutilizada, o que interromperia a execução.row.names = FALSE para não
acrescentar uma coluna artificial com índices de linha.id_origem documentado no TCC. Para executar a análise
definitiva sem sobreposição de pontos geográficos, utilize o código de
divisão agrupada empregado nos experimentos finais.