Prova 2

Exercicio 1

Considere o problema em que o objetivo é prever a pontuação perfomance index do aluno com base em algumas variáveis. Avalie o poder preditivo do modelo selecionado. Sua análise deve conter uma análise exploratória dos dados, utilizar um esquema de k-folds cross-validation, com k=20 e considerar um esquema de data splitting na proporção 90% para treino e 1 0% para teste.

library(tidymodels)
library(rpart)
library(rpart.plot)
library(skimr)
library(corrplot)
library(visdat)
library(dplyr)
tidymodels::tidymodels_prefer()

Análise de Dados

dados<- read.csv("C:/Users/elton/Desktop/Student_Performance.csv")
dados$Extracurricular.Activities<- ifelse(dados$Extracurricular.Activities=="Yes",1,0)
skim(dados)

── Data Summary ────────────────────────
                           Values
Name                       dados 
Number of rows             10000 
Number of columns          6     
_______________________          
Column type frequency:           
  numeric                  6     
________________________         
Group variables            None  

vis_dat(dados)

attach(dados)

rho_hat <- cor(dados)
corrplot(rho_hat, method = "number")

vis_cor(dados)

dados |> dplyr::glimpse()

Rows: 10,000
Columns: 6
$ Hours.Studied                    <int> 7, 4, 8, 5, 7, 3, 7, 8, 5, 4, 8, 8, 3, 6…
$ Previous.Scores                  <int> 99, 82, 51, 52, 75, 78, 73, 45, 77, 89, …
$ Extracurricular.Activities       <dbl> 1, 0, 1, 1, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0…
$ Sleep.Hours                      <int> 9, 4, 7, 5, 8, 9, 5, 4, 8, 4, 4, 6, 9, 4…
$ Sample.Question.Papers.Practiced <int> 1, 2, 2, 2, 5, 6, 6, 6, 2, 0, 5, 2, 2, 2…
$ Performance.Index                <dbl> 91, 65, 45, 36, 66, 61, 63, 42, 61, 69, …

Tratamento dos dados e preparação das receitas

set.seed(0) # Fixando uma semente
divisao_inicial <- rsample::initial_split(dados, prop = 0.9, strata ="Performance.Index")
treinamento <- rsample::training(divisao_inicial) # Conjunto de treinamento
teste <- rsample::testing(divisao_inicial) # Conjunto de teste
teste

NA

receita_1 <- 
  treinamento |> 
  recipe(formula = Performance.Index ~ .) |>
  step_YeoJohnson(all_predictors()) |>
  step_normalize(all_predictors()) |>
  step_zv(all_predictors()) |>
  step_corr(all_predictors())  
  

receita_2 <- 
  treinamento |> 
  recipe(formula = Performance.Index ~ .) |>
  step_YeoJohnson(all_predictors()) |>
  step_normalize(all_predictors()) 
  

Configurando os Modelos

modelo_elastic <- 
  parsnip::linear_reg(penalty = tune::tune(), mixture = tune::tune()) |> 
  parsnip::set_mode("regression") |> 
  parsnip::set_engine("glmnet")

modelo_knn <-
  parsnip::nearest_neighbor(
    neighbors = tune::tune(),
    dist_power = tune::tune(), 
    weight_func = "gaussian" 
  ) |> 
  parsnip::set_mode("regression") |> 
  parsnip::set_engine("kknn")

modelo_svm <- 
  parsnip::svm_rbf(
    cost = tune::tune(),
    rbf_sigma = tune::tune(),
    margin = tune::tune()
  ) |> 
  parsnip::set_mode("regression") |> 
  parsnip::set_engine("kernlab")

modelo_arvore <- decision_tree(cost_complexity = tune(), tree_depth = tune(),
                         min_n = tune()) |> 
  set_engine(engine = "rpart") |> 
  set_mode("regression")

modelo_floresta <- 
  rand_forest(mtry = tune(), min_n = tune(), trees = tune()) %>%  # random forest
  set_engine(engine = "ranger", importance = "impurity") %>% 
  set_mode("regression")

Validação Cruzada

validacao_cruzada <- 
  treinamento |> 
  rsample::vfold_cv(v = 5L, strata = Performance.Index)

Workflow

wf_todos <-
  workflow_set(
    preproc = list(receita_1, receita_2),
    models = list(
      knn_fit = modelo_knn,
      elastic_fit = modelo_elastic,
      svm_fit = modelo_svm,
      arvore_fit<- modelo_arvore,
      floresta_fit<- modelo_floresta
    ),
    cross = TRUE
  )


controle_grid <- control_grid(
  save_pred = TRUE,
  save_workflow = TRUE,
  parallel_over = "resamples"
)

Treino

treino <-
  wf_todos |> 
  workflow_map(
    resamples = validacao_cruzada,
    grid = 20L,
    control = controle_grid
  )



autoplot(treino, metric = "rmse") + 
  labs(
    title = "Avaliação dos modelos de regressão",
    subtitle = "Utilizando a métrica do EQM"
  ) + 
  xlab("Rank dos Workflows") +
  ylab("Erro Quadrático Médio - EQM")

Melhores

melhores <- 
  treino |> 
  rank_results(select_best = TRUE, rank_metric = "rmse")
melhores

autoplot(treino, select_best = TRUE)

NA
NA

Melhor Modelo

treino |> 
  rank_results()

melhor_modelo <- 
  treino |> 
  extract_workflow_set_result(id = "recipe_1_svm_fit") |> 
  select_best(metric = "rmse")

melhor_modelo

NA

wf_final <- 
  treino |> 
  extract_workflow(id = "recipe_1_svm_fit") |> 
  finalize_workflow(melhor_modelo)

teste <- 
  wf_final |> 
  last_fit(split = divisao_inicial)

teste$.metrics

[[1]]

NA

Modelo Final

modelo_final

══ Workflow [trained] ═════════════════════════════════════════════════════════════
Preprocessor: Recipe
Model: svm_rbf()

── Preprocessor ───────────────────────────────────────────────────────────────────
4 Recipe Steps

• step_YeoJohnson()
• step_normalize()
• step_zv()
• step_corr()

── Model ──────────────────────────────────────────────────────────────────────────
Support Vector Machine object of class "ksvm" 

SV type: eps-svr  (regression) 
 parameter : epsilon = 0.0874433389003389  cost C = 8.70624801835044 

Gaussian Radial Basis kernel function. 
 Hyperparameter : sigma =  0.0544428691125384 

Number of Support Vectors : 4097 

Objective Function Value : -2117.35 
Training error : 0.01114 

Salvando o Modelo

saveRDS(modelo_final, file = "modelo_final.rds")

# Lendo o arquivo serializado com o modelo final
load(file = "modelo_final.rds")

# Fazendo novas previsões
predict(modelo_final, new_data = novos_dados)

Exercicio 2

Considere o problema em que o objetivo é prever o custo, charge, com base em algumas variáveis. Sua análise deve conter uma análise exploratória dos dados, deverá utilizar um esquema de k-folds cross-validation, com k=20 e considerar um esquema de data splitting na proporção 90% para treino e 10% para teste.

dados1<-read.csv("C:/Users/elton/Desktop/insurance.csv")
dados1<- dados1 |> select(-region)
dados1$sex<- ifelse(dados1$sex=="male",1,0)
dados1$smoker<- ifelse(dados1$smoker=="yes",1,0)

Descritiva dos dados

skim(dados1)

── Data Summary ────────────────────────
                           Values
Name                       dados1
Number of rows             1338  
Number of columns          6     
_______________________          
Column type frequency:           
  numeric                  6     
________________________         
Group variables            None  

vis_dat(dados1)

rho_hat1 <- cor(dados1)
corrplot(rho_hat1, method = "number")

vis_cor(dados1)

Tratamento dos dados e preparação das receitas

attach(dados1)
set.seed(0) 
divisao_inicial1 <- rsample::initial_split(dados1, prop = 0.9, strata ="charges")
treinamento1 <- rsample::training(divisao_inicial1) 
teste1 <- rsample::testing(divisao_inicial1)

receita_11 <- 
  treinamento1 |> 
  recipe(formula = charges ~ .) |>
  step_YeoJohnson(all_predictors()) |>
  step_normalize(all_predictors()) |>
  step_zv(all_predictors()) |>
  step_corr(all_predictors())  
  

receita_22 <- 
  treinamento1 |> 
  recipe(formula = charges ~ .) |>
  step_YeoJohnson(all_predictors()) |>
  step_normalize(all_predictors()) 
  

Configurando os Modelos

modelo_elastic1 <- 
  parsnip::linear_reg(penalty = tune::tune(), mixture = tune::tune()) |> 
  parsnip::set_mode("regression") |> 
  parsnip::set_engine("glmnet")

modelo_knn1 <-
  parsnip::nearest_neighbor(
    neighbors = tune::tune(),
    dist_power = tune::tune(), 
    weight_func = "gaussian" 
  ) |> 
  parsnip::set_mode("regression") |> 
  parsnip::set_engine("kknn")

modelo_svm1 <- 
  parsnip::svm_rbf(
    cost = tune::tune(),
    rbf_sigma = tune::tune(),
    margin = tune::tune()
  ) |> 
  parsnip::set_mode("regression") |> 
  parsnip::set_engine("kernlab")

modelo_arvore1 <- decision_tree(cost_complexity = tune(), tree_depth = tune(),
                         min_n = tune()) |> 
  set_engine(engine = "rpart") |> 
  set_mode("regression")

modelo_floresta1 <- 
  rand_forest(mtry = tune(), min_n = tune(), trees = tune()) |>   
  set_engine(engine = "ranger", importance = "impurity") |>  
  set_mode("regression")

Validação Cruzada

validacao_cruzada1 <- 
  treinamento1 |> 
  rsample::vfold_cv(v = 5L, strata = charges)

Workflow

wf_todos1 <-
  workflow_set(
    preproc = list(receita_11, receita_22),
    models = list(
      knn_fit1 = modelo_knn1,
      elastic_fit1 = modelo_elastic1,
      svm_fit1 = modelo_svm1,
      arvore_fit1<- modelo_arvore1,
      floresta_fit1<- modelo_floresta1
    ),
    cross = TRUE
  )


controle_grid1 <- control_grid(
  save_pred = TRUE,
  save_workflow = TRUE,
  parallel_over = "resamples"
)

Treino

treino1 <-
  wf_todos1 |> 
  workflow_map(
    resamples = validacao_cruzada1,
    grid = 20L,
    control = controle_grid1
  )



autoplot(treino1, metric = "rmse") + 
  labs(
    title = "Avaliação dos modelos de regressão",
    subtitle = "Utilizando a métrica do EQM"
  ) + 
  xlab("Rank dos Workflows") +
  ylab("Erro Quadrático Médio - EQM")

Melhores

melhores1 <- 
  treino1 |> 
  rank_results(select_best = TRUE, rank_metric = "rmse")
melhores1

autoplot(treino1, select_best = TRUE)

NA
NA

Melhor Modelo

treino1 |> 
  rank_results()

melhor_modelo1 <- 
  treino1 |> 
  extract_workflow_set_result(id = "recipe_2_rand_forest") |> 
  select_best(metric = "rmse")

melhor_modelo1

wf_final1 <- 
  treino1 |> 
  extract_workflow(id = "recipe_2_rand_forest") |> 
  finalize_workflow(melhor_modelo1)

teste1 <- 
  wf_final1 |> 
  last_fit(split = divisao_inicial1)

teste1$.metrics

Modelo Final

modelo_final1 <- 
  wf_final1 |> 
  fit(dados1)
modelo_final1

Salvando o Modelo

saveRDS(modelo_final1, file = "modelo_final.rds1")

# Lendo o arquivo serializado com o modelo final
load(file = "modelo_final.rds1")

# Fazendo novas previsões
predict(modelo_final1, new_data = novos_dados1)

Exercício 3

Considere o problema em que o objetivo é prever a qualidade, quality, com base em algumas variáveis. Sua análise deve conter uma análise exploratória dos dados, utilizar um esquema de k-folds cross-validation, com k=20 e considerar um esquema de data splitting na proporção 90% para treino e 10% para teste.

dados2<- read.csv("C:/Users/elton/Desktop/winequality-red.csv")
dados2<- dados2 |> rename(c(acidez_fixa=fixed.acidity,votalidade_acidez=volatile.acidity,
                            acidez_citrica=citric.acid,açucar_residual=residual.sugar,
                            cloretos=chlorides,dioxido_enxofre_livre=free.sulfur.dioxide,
                            total_dioxido_enxofre=total.sulfur.dioxide,densidade=density,
                            sulfatos=sulphates,alcool=alcohol,qualidade=quality))

Descritiva dos dados

skim(dados2)

── Data Summary ────────────────────────
                           Values
Name                       dados2
Number of rows             1599  
Number of columns          12    
_______________________          
Column type frequency:           
  numeric                  12    
________________________         
Group variables            None  

vis_dat(dados2)

vis_cor(dados2)

Tratamento dos dados e preparação das receitas

attach(dados2)
set.seed(0) 
divisao_inicial2 <- rsample::initial_split(dados2, prop = 0.9, strata ="qualidade")
treinamento2 <- rsample::training(divisao_inicial2) 
teste2 <- rsample::testing(divisao_inicial2)

receita_111 <- 
  treinamento2 |> 
  recipe(formula = qualidade ~ .) |>
  step_YeoJohnson(all_predictors()) |>
  step_normalize(all_predictors()) |>
  step_zv(all_predictors()) |>
  step_corr(all_predictors())  
  

receita_222 <- 
  treinamento2 |> 
  recipe(formula = qualidade ~ .) |>
  step_YeoJohnson(all_predictors()) |>
  step_normalize(all_predictors()) 
  

Configurando os Modelos

modelo_elastic2 <- 
  parsnip::linear_reg(penalty = tune::tune(), mixture = tune::tune()) |> 
  parsnip::set_mode("regression") |> 
  parsnip::set_engine("glmnet")

modelo_knn2 <-
  parsnip::nearest_neighbor(
    neighbors = tune::tune(),
    dist_power = tune::tune(), 
    weight_func = "gaussian" 
  ) |> 
  parsnip::set_mode("regression") |> 
  parsnip::set_engine("kknn")

modelo_svm2 <- 
  parsnip::svm_rbf(
    cost = tune::tune(),
    rbf_sigma = tune::tune(),
    margin = tune::tune()
  ) |> 
  parsnip::set_mode("regression") |> 
  parsnip::set_engine("kernlab")

modelo_arvore2 <- decision_tree(cost_complexity = tune(), tree_depth = tune(),
                         min_n = tune()) |> 
  set_engine(engine = "rpart") |> 
  set_mode("regression")

modelo_floresta2 <- 
  rand_forest(mtry = tune(), min_n = tune(), trees = tune()) |>   
  set_engine(engine = "ranger", importance = "impurity") |>  
  set_mode("regression")

Validação Cruzada

validacao_cruzada2 <- 
  treinamento2 |> 
  rsample::vfold_cv(v = 5L, strata = qualidade)

Workflow

wf_todos2 <-
  workflow_set(
    preproc = list(receita_111, receita_222),
    models = list(
      knn_fit2 = modelo_knn2,
      elastic_fit2 = modelo_elastic2,
      svm_fit2 = modelo_svm2,
      arvore_fit2<- modelo_arvore2,
      floresta_fit2<- modelo_floresta2
    ),
    cross = TRUE
  )


controle_grid2 <- control_grid(
  save_pred = TRUE,
  save_workflow = TRUE,
  parallel_over = "resamples"
)

Treino

treino2 <-
  wf_todos2 |> 
  workflow_map(
    resamples = validacao_cruzada2,
    grid = 20L,
    control = controle_grid2
  )



autoplot(treino2, metric = "rmse") + 
  labs(
    title = "Avaliação dos modelos de regressão",
    subtitle = "Utilizando a métrica do EQM"
  ) + 
  xlab("Rank dos Workflows") +
  ylab("Erro Quadrático Médio - EQM")

Melhores

melhores2 <- 
  treino2 |> 
  rank_results(select_best = TRUE, rank_metric = "rmse")
melhores2

autoplot(treino2, select_best = TRUE)

NA
NA

treino2 |> 
  rank_results()

melhor_modelo2 <- 
  treino2 |> 
  extract_workflow_set_result(id = "recipe_2_rand_forest") |> 
  select_best(metric = "rmse")

melhor_modelo2

NA

wf_final2 <- 
  treino2 |> 
  extract_workflow(id = "recipe_2_rand_forest") |> 
  finalize_workflow(melhor_modelo2)

teste2 <- 
  wf_final2 |> 
  last_fit(split = divisao_inicial2)

teste2$.metrics

[[1]]

NA

Modelo Final

modelo_final2 <- 
  wf_final2 |> 
  fit(dados2)
modelo_final2

══ Workflow [trained] ══════════════════════════════════════════════════════════════════
Preprocessor: Recipe
Model: rand_forest()

── Preprocessor ────────────────────────────────────────────────────────────────────────
2 Recipe Steps

• step_YeoJohnson()
• step_normalize()

── Model ───────────────────────────────────────────────────────────────────────────────
Ranger result

Call:
 ranger::ranger(x = maybe_data_frame(x), y = y, mtry = min_cols(~4L,      x), num.trees = ~1767L, min.node.size = min_rows(~3L, x),      importance = ~"impurity", num.threads = 1, verbose = FALSE,      seed = sample.int(10^5, 1)) 

Type:                             Regression 
Number of trees:                  1767 
Sample size:                      1599 
Number of independent variables:  11 
Mtry:                             4 
Target node size:                 3 
Variable importance mode:         impurity 
Splitrule:                        variance 
OOB prediction error (MSE):       0.3174914 
R squared (OOB):                  0.5131757 

Salvando o Modelo

saveRDS(modelo_final2, file = "modelo_final.rds2")

# Lendo o arquivo serializado com o modelo final
load(file = "modelo_final.rds2")

# Fazendo novas previsões
predict(modelo_final2, new_data = novos_dados2)

Exercício 4

Considere o problema em que o objetivo é prever a variável cooling_load com base em algumas variáveis. Sua análise deve conter uma análise exploratória dos dados, utilizar um esquema de k-folds cross-validation, com k=20 e considerar um esquema de data splitting na proporção 90% para treino e 10% para teste.

dados3<-read.csv("C:/Users/elton/Downloads/energy_efficiency_data.csv")

Descritiva dos dados

skim(dados3)

── Data Summary ────────────────────────
                           Values
Name                       dados3
Number of rows             768   
Number of columns          10    
_______________________          
Column type frequency:           
  numeric                  10    
________________________         
Group variables            None  

vis_dat(dados3)

vis_cor(dados3)

Tratamento dos dados e preparação das receitas

attach(dados3)
set.seed(0) 
divisao_inicial3 <- rsample::initial_split(dados3, prop = 0.9, strata ="Cooling_Load")
treinamento3 <- rsample::training(divisao_inicial3) 
teste3 <- rsample::testing(divisao_inicial3)

receita_1111 <- 
  treinamento3 |> 
  recipe(formula = Cooling_Load ~ .) |>
  step_YeoJohnson(all_predictors()) |>
  step_normalize(all_predictors()) |>
  step_zv(all_predictors()) |>
  step_corr(all_predictors())  
  

receita_2222 <- 
  treinamento3 |> 
  recipe(formula = Cooling_Load ~ .) |>
  step_YeoJohnson(all_predictors()) |>
  step_normalize(all_predictors()) 
  

Configurando os Modelos

modelo_elastic3 <- 
  parsnip::linear_reg(penalty = tune::tune(), mixture = tune::tune()) |> 
  parsnip::set_mode("regression") |> 
  parsnip::set_engine("glmnet")

modelo_knn3 <-
  parsnip::nearest_neighbor(
    neighbors = tune::tune(),
    dist_power = tune::tune(), 
    weight_func = "gaussian" 
  ) |> 
  parsnip::set_mode("regression") |> 
  parsnip::set_engine("kknn")

modelo_svm3 <- 
  parsnip::svm_rbf(
    cost = tune::tune(),
    rbf_sigma = tune::tune(),
    margin = tune::tune()
  ) |> 
  parsnip::set_mode("regression") |> 
  parsnip::set_engine("kernlab")

modelo_arvore3 <- decision_tree(cost_complexity = tune(), tree_depth = tune(),
                         min_n = tune()) |> 
  set_engine(engine = "rpart") |> 
  set_mode("regression")

modelo_floresta3 <- 
  rand_forest(mtry = tune(), min_n = tune(), trees = tune()) |>   
  set_engine(engine = "ranger", importance = "impurity") |>  
  set_mode("regression")

Validação Cruzada

validacao_cruzada3 <- 
  treinamento3 |> 
  rsample::vfold_cv(v = 5L, strata = Cooling_Load)

Workflow

wf_todos3 <-
  workflow_set(
    preproc = list(receita_1111, receita_2222),
    models = list(
      knn_fit3 = modelo_knn3,
      elastic_fit3 = modelo_elastic3,
      svm_fit3 = modelo_svm3,
      arvore_fit3<- modelo_arvore3,
      floresta_fit3<- modelo_floresta3
    ),
    cross = TRUE
  )


controle_grid3 <- control_grid(
  save_pred = TRUE,
  save_workflow = TRUE,
  parallel_over = "resamples"
)

Treino

treino3 <-
  wf_todos3 |> 
  workflow_map(
    resamples = validacao_cruzada3,
    grid = 20L,
    control = controle_grid3
  )



autoplot(treino3, metric = "rmse") + 
  labs(
    title = "Avaliação dos modelos de regressão",
    subtitle = "Utilizando a métrica do EQM"
  ) + 
  xlab("Rank dos Workflows") +
  ylab("Erro Quadrático Médio - EQM")

Melhores

melhores3 <- 
  treino3 |> 
  rank_results(select_best = TRUE, rank_metric = "rmse")
melhores3

autoplot(treino3, select_best = TRUE)

NA
NA

treino3 |> 
  rank_results()

melhor_modelo3 <- 
  treino3 |> 
  extract_workflow_set_result(id = "recipe_2_rand_forest") |> 
  select_best(metric = "rmse")

melhor_modelo3

NA
NA

wf_final3 <- 
  treino3 |> 
  extract_workflow(id = "recipe_2_rand_forest") |> 
  finalize_workflow(melhor_modelo2)

teste3 <- 
  wf_final3 |> 
  last_fit(split = divisao_inicial3)

teste3$.metrics

[[1]]

NA

Modelo Final

modelo_final3 <- 
  wf_final3 |> 
  fit(dados3)
modelo_final3

══ Workflow [trained] ═════════════════════════════════════════════════════════════════
Preprocessor: Recipe
Model: rand_forest()

── Preprocessor ───────────────────────────────────────────────────────────────────────
2 Recipe Steps

• step_YeoJohnson()
• step_normalize()

── Model ──────────────────────────────────────────────────────────────────────────────
Ranger result

Call:
 ranger::ranger(x = maybe_data_frame(x), y = y, mtry = min_cols(~4L,      x), num.trees = ~1767L, min.node.size = min_rows(~3L, x),      importance = ~"impurity", num.threads = 1, verbose = FALSE,      seed = sample.int(10^5, 1)) 

Type:                             Regression 
Number of trees:                  1767 
Sample size:                      768 
Number of independent variables:  9 
Mtry:                             4 
Target node size:                 3 
Variable importance mode:         impurity 
Splitrule:                        variance 
OOB prediction error (MSE):       1.780618 
R squared (OOB):                  0.9803253 

Salvando o Modelo

saveRDS(modelo_final3, file = "modelo_final.rds3")

# Lendo o arquivo serializado com o modelo final
load(file = "modelo_final.rds3")

# Fazendo novas previsões
predict(modelo_final3, new_data = novos_dados3)