Função para Tunar modelo de XGBoost

Motivação

Este material foi feito inspirado pelo curso de R para Machine Learning, ministrado pela Curso-R, em que mostra uma heurística sobre a tunagem do Modelo de XGBoost. O material está disponível para qualquer pessoa neste link, baixando o arquivo exemplos/12-xgboost.Rmd.

O que é XGBoost?

O modelo de XGBoost é uma extensão do Gradiente Boost, que é um modelo baseado em árvores. Se você deseja entender melhor o que é isso, sugiro este material e o repositória que está exposto nele.

Bom, o XGBoost conta com sete hiperparâmetros para encontrarmos a melhor combinação de um modelo. De que forma fazemos isso? Através da tunagem dos hiperparâmeros. Porém, quanto maior o número destes, mais demorado será a execução do modelo e maior capacidade computacional você vai precisar.

Se tivéssemos uma máquina com memória infinita, poderíamos testar infinitas possibilidades de hiperparâmetros para encontrarmos os melhores possíveis. No entando, sabemos que: uma máquina infinita custa infinitos dinheiros (R$) e ainda sim não conseguiria testar infinitas combinações e; se rodarmos em nuvem infinitamente isso, pode nos gerar também uma quantia absurda.

Com isso, foram criadas diversar maneiras de executar essa tunagem, e aqui, vou expor, em forma de função, a maneira que aprendi no curso que fiz, como falei anteriormente.

Porque uma função para tunar XGBoost?

Muitas vezes, no nosso dia a dia, estamos bem atarefados com nossos afazeres. Na minha experiência pessoal, sempre gosto de entender melhor qualquer situação problema que vem até mim, cada particularidade e cada circunstância. No entando, isso nem sempre é possível. Com isso, algo que me facilite a execução deste processo de tunagem foi bem pertinente.

Outro motivo que me fez montar essa função, foi o fato de que sempre é bom ter um “chute inicial” para os nossos trabalhos. Como já dizia o filósofo: Nada se cria, tudo se copia. Resumindo, com esta função tenho bons hiperparâmetros iniciais para que, caso eu queira, posteriormente, conseguir ajustar meu modelo.

Modelagem

Sem mais delongas, agora vamos a um teste de modelagem com a função de tunagem do XGBoost. Caso queira ter acesso a ela, só baixar o script e utilizar a função source("nome do arquivo") no seu script de modelagem.

base <- rio::import("../Case_Turnover_v2.csv")

base %>% 
  select_if(is.numeric) %>% 
    skimr::skim()

base %>% 
  select_if(is.character) %>% 
    skimr::skim()

base <- base %>% 
  mutate(
    desligado = as.factor(desligado)
  )

set.seed(100)
treino_teste <- base %>%  initial_split(0.7, strata = desligado)

base_treino <- training(treino_teste)
base_teste <- testing(treino_teste)

# Data prep
base_recipe <- recipe(
  desligado ~., data = base_treino
) %>% 
  step_zv(all_predictors()) %>%
  step_modeimpute(all_nominal(), -all_outcomes()) %>%
  step_medianimpute(all_numeric()) %>%
  step_novel(all_nominal(), -all_outcomes()) %>%
  step_dummy(all_nominal(), -all_outcomes())

# veirficar como ficou
juice(prep(base_recipe)) %>% head() %>% knitr::kable()

source("../Function_XGBoost_output.R")

tunagem_xgb(base_treino, base_recipe)

[1] "Agora vamos rodar os hiperparâmetros!"
[1] "Melhores hiperparâmetros: "
[1] "Lean_rate =  0.05"
[1] "Trees =  100"
[1] "Tree_depth =  6"
[1] "Min_n =  5"
[1] "Loss_reduction =  0.1"
[1] "Sample_size =  1"
[1] "Mtry =  0.3"
[1] "Seu modelo está pronto para ser testado!"
[1] "Utilize o objeto xgb_wk para o teste do modelo"

xgb_last_fit <- xgb_wkf %>% 
  last_fit(
    split = treino_teste,
    metrics = metric_set(roc_auc, accuracy)
  )

collect_metrics(xgb_last_fit) %>% knitr::kable()

# curva roc
xgb_last_fit %>% 
  collect_predictions() %>% 
  roc_curve(desligado,`.pred_1`) %>% 
  autoplot() +
  coord_flip()

xgb_last_fit %>% 
  pluck(".workflow", 1) %>%   
  pull_workflow_fit() %>% 
  vip::vip(num_features = 20)

Considerações

Este material serve para quem deseja aplicar o processo de tunagem dos hiperparâmetros do modelo de XGBoost de maneira mais simples e quem sabe conseguir um bom chute inicial destes argumentos. Não recomendo aplicar a função diretamente a uma base, sem a análise exploratória e sem conhecimento prévio dos hiperparâmetros. No mais, aceito contribuições, sugestões e críticas! Pode acessar meu Github ou meu Linkedin.