Exercício 1 (1 ponto)

Leia o artigo Statistical Modeling: The Two Cultures.

a) Comente sobre as duas culturas utilizadas na modelagem estatística.

De acordo com o artigo as duas principais culturas utilizadas na modelagem estatística são: “cultura da modelagem de dados” e a “cultura da modelagem por algoritmos”. O autor Leo Breiman comentou sobre esas duas principais linhas de abordagem ao problema de interpretação de análise de dados de diferentes naturezas e de modelagem estatística. A “cultura da modelagem de dados” de acordo com o artigo é uma cultura onde os dados são enquadrados em algum modelo matemático ou probabilístico que busca melhor representar as características associadas a estes dados enquanto a “cultura da modelagem por algoritmos” é uma cultura onde os dados não são necessariamente avaliados quanto a seu fit a algum modelo específico, mas sim submetidos a tratamentos analíticos que geram resultados importantes em termos da capacidade de predição ou da eficiência de classificação de unidades amstrais em categorias distintas.

b) Comente, em no mínimo 5 linhas, qual a opiniao de Leo Breiman sobre essas duas culturas.

O autor Leo Breiman parece preferir mais a abordagem da modelagem algorítmica mostrando as falhas na corrente do pensamento mais comum na estatística através da falta flexibilidade das abordagens de modelagem de dados e da incapacidade dos modelos em captar a totalidade das nuances dos dados e sua estrutura. Além disso, ele salienta os lados positivos da modelagem

c) Comente, em no mínimo 5 linhas, qual a opiniao de Cox sobre essas duas culturas.

man sobre essas duas culturas. {-}

Cox defende a modelagem estatística tradicional dos dados, onde mostra que as abordagens tradicionais, com seus já consolidados conhecimentos nas áreas de probabilidade e inferência, podem também ser úteis na análise de dados e processos. Cox parece defender a idéia que a descrição da estrutura intrínseca dos dados e sua adequação a um modelo parece ser mais relevante ou informativa do que o puro e simples emprego de tais dados em tarefas práticas.




Exercicio 2 (2 pontos)

a) O que é erro redutível e erro irredutível?

Podemos dizer que erro irredutível é um erro que não pode ser reduzido apenas mudando o modelo.


Os erros redutíveis são os erros decorrentes do viés e da variância do modelo.

b) Cite um exemplo prático do que é erro irredutível.

Quando por exemplo, temos alguma feature que falta na nossa base de dados e que nos impede de gerar predições corretas. Neste caso seria impossível prever com exatidão cada saída esperada e nesse caso o erro fica irredutível.

c) Cite um exemplo prático do que é erro redutível.

Quando por exemplo, calculamos diferenças entre os valores observados e os valores preditos em um modelo de regressão linear falamos de erros redutíveis

d) Explique e dê exemplos dos 3 diferentes tipos de dados faltantes (missing data).

  • Missing completely at random (MCAR): quando a probabilidade dos dados faltantes é a mesma entre as observações. Por exemplo, dados perdidos por um backup incorreto.

  • Missing at random (MAR): quando os dados faltantes variam de acordo com outras variáveis. Por exemplo, missing em uma variável idade pode ser diferente entre mulheres e homens.

  • Missing not at random (MNAR): quando a probabilidade de missing está relacionada ao missing. Por exemplo, dependendo da renda do cliente, é mais provável que ele não responda sobre a renda.

e) Qual o motivo de dividirmos um banco de dados em treinamento e teste?

Nós dividirmos o banco de dados em treinamento e teste porque o banco de treinamento nós ajudará a treinar o nosso modelo e o banco de teste ajudará a avaliar o performance do modelo com os dados que não foram utilizados durante o treinamento do modelo. Essa técnica usada em machine learning ajuda a evitar o problema de overfitting (sobreajuste), que acontece justamente quando o modelo se ajusta muito bem aos dados de treinamento mas tem um desempenho ruim ao se ajustar aos dados novos (dados futuros ou dados de teste)

f) Minimizar o erro quadrático médio do banco de treinamento pode levar ao overfitting? Jutifique a sua resposta.

Sim, minimizar o erro quadrático médio do banco de dados de treinamento pode levar ao overfitting porque o modelo pode se ajustar muito bem aos dados de treinamento, mas não se ajustar bem aos novos dados.

g) Porque o método de Naive Bayes é considerado “ingênuo?”

o método de Naive Bayes é considerado “ingênuo porque ele considera que as características(features) do banco de dados são independentes condicionalmente à classe da variável ‘target’ para cada linha analisada do banco de dados.

Exercício 3 (0,5 ponto)

Crie um diagrama de árvore da figura abaixo, você pode tirar uma foto da solução desse exercício e plotar no relatório.

’Figure caption

Exercício 4 (3,5 pontos)

O objetivo do modelo é classificar se uma paciente possui um tumor maligno ou benigno baseado em características de um exame de imagem. Os dados estão disponíveis no site https://www.kaggle.com/uciml/breast-cancer-wisconsin-data#data.csv. Para as letras b-g calcule o erro de classificação e a matriz de confusão, utilize \(70%\) do banco de dados para treinamento e validação cruzada 10fold.

a) Faça uma análise descritiva desse banco de dados.

# Carregando os pacotes

library(caret)
## Carregando pacotes exigidos: ggplot2
## Carregando pacotes exigidos: lattice
library(tidyverse)
## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr     1.1.2     ✔ readr     2.1.4
## ✔ forcats   1.0.0     ✔ stringr   1.5.0
## ✔ lubridate 1.9.2     ✔ tibble    3.2.1
## ✔ purrr     1.0.1     ✔ tidyr     1.3.0
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag()    masks stats::lag()
## ✖ purrr::lift()   masks caret::lift()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errors
library(skimr)
library(dplyr)

library(caret)
library(glmnet)
## Carregando pacotes exigidos: Matrix
## 
## Attaching package: 'Matrix'
## 
## The following objects are masked from 'package:tidyr':
## 
##     expand, pack, unpack
## 
## Loaded glmnet 4.1-7
library(kernlab)
## 
## Attaching package: 'kernlab'
## 
## The following object is masked from 'package:purrr':
## 
##     cross
## 
## The following object is masked from 'package:ggplot2':
## 
##     alpha
library(naivebayes)
## naivebayes 0.9.7 loaded

Variáveis numéricas:

Variável Observações ausentes Média Desvio Padrão Primeiro Quartil(25%) Mediana Terceiro Quartil(75%)
radius_mean 0 14.13 3.52 11.70 13.37 15.78
texture_mean 0 19.29 4.30 16.17 18.84 21.80
perimeter_mean 0 91.97 24.30 75.17 86.24 104.10
area_mean 0 654.89 351.91 420.30 551.10 782.70
smoothness_mean 0 0.10 0.01 0.09 0.10 0.11
compactness_mean 0 0.10 0.05 0.06 0.09 0.13
concavity_mean 0 0.09 0.08 0.03 0.06 0.13
concave.points_mean 0 0.05 0.04 0.02 0.03 0.07
symmetry_mean 0 0.18 0.03 0.16 0.18 0.20
fractal_dimension_mean 0 0.06 0.01 0.06 0.06 0.07
radius_se 0 0.41 0.28 0.23 0.32 0.48
texture_se 0 1.22 0.55 0.83 1.11 1.47
perimeter_se 0 2.87 2.02 1.61 2.29 3.36
area_se 0 40.34 45.49 17.85 24.53 45.19
smoothness_se 0 0.01 0.00 0.01 0.01 0.01
compactness_se 0 0.03 0.02 0.01 0.02 0.03
concavity_se 0 0.03 0.03 0.02 0.03 0.04
concave.points_se 0 0.01 0.01 0.01 0.01 0.01
symmetry_se 0 0.02 0.01 0.02 0.02 0.02
fractal_dimension_se 0 0.00 0.00 0.00 0.00 0.00
radius_worst 0 16.27 4.83 13.01 14.97 18.79
texture_worst 0 25.68 6.15 21.08 25.41 29.72
perimeter_worst 0 107.26 33.60 84.11 97.66 125.40
area_worst 0 880.58 569.36 515.30 686.50 1084.00
smoothness_worst 0 0.13 0.02 0.12 0.13 0.15
compactness_worst 0 0.25 0.16 0.15 0.21 0.34
concavity_worst 0 0.27 0.21 0.11 0.23 0.38
concave.points_worst 0 0.11 0.07 0.06 0.10 0.16
symmetry_worst 0 0.29 0.06 0.25 0.28 0.32
fractal_dimension_worst 0 0.08 0.02 0.07 0.08 0.09

Variável resposta:

Variável Observações ausentes Dados Ordenados Categorias Contagem numeric.p25 numeric.p50 numeric.p75 numeric.p100 numeric.hist
Diagnosis 0 14.12729 3.524049 6.981 11.7 13.37 15.78 28.11 ▂▇▃▁▁

Histograma de diagnóstico:

b) Faça a classificação de usuários utilizando regressão logística.

set.seed(00316695)


dados_cancer_treino <- dados_cancer[(1:(nrow(dados_cancer)*0.7)),]
dados_cancer_teste <- dados_cancer[(nrow(dados_cancer_treino)+1):nrow(dados_cancer),]

controle <- trainControl(method = "cv", number = 10)

modelo <- train(diagnosis ~ ., data = dados_cancer_treino, method = "glm", trControl = controle, family = "binomial")
predicoes <- predict(modelo, newdata = dados_cancer_teste)
dados_cancer_teste$diagnosis <- as.factor(dados_cancer_teste$diagnosis)
matriz_confusao <- confusionMatrix(predicoes, dados_cancer_teste$diagnosis)
print(matriz_confusao)
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   B   M
##          B 122   2
##          M  10  37
##                                           
##                Accuracy : 0.9298          
##                  95% CI : (0.8806, 0.9632)
##     No Information Rate : 0.7719          
##     P-Value [Acc > NIR] : 0.00000003082   
##                                           
##                   Kappa : 0.8141          
##                                           
##  Mcnemar's Test P-Value : 0.04331         
##                                           
##             Sensitivity : 0.9242          
##             Specificity : 0.9487          
##          Pos Pred Value : 0.9839          
##          Neg Pred Value : 0.7872          
##              Prevalence : 0.7719          
##          Detection Rate : 0.7135          
##    Detection Prevalence : 0.7251          
##       Balanced Accuracy : 0.9365          
##                                           
##        'Positive' Class : B               
## 
print(paste("Acurácia = ", " ", round(matriz_confusao[["overall"]][["Accuracy"]],4)," | " , "Erro de precisão ="," ", round((1 - matriz_confusao[["overall"]][["Accuracy"]]),4), sep = ""))
## [1] "Acurácia =  0.9298 | Erro de precisão = 0.0702"

O modelo apresentou uma acurácia de 92,98% e um bom índice Kappa de 0,8141, errando em grande parte quando na verdade o tumor é Benigno, e que o modelo classificou como Maligno.

c) Faça a classificação de usuários utilizando análise discriminante quadrática.

set.seed(00316695)

controle <- trainControl(method = "cv", number = 10)


modelo_adq <- train(diagnosis ~ ., data = dados_cancer_treino, method = "qda", trControl = controle)

predicoes_adq <- predict(modelo_adq, newdata = dados_cancer_teste)

matriz_confusao_adq <- confusionMatrix(predicoes_adq, dados_cancer_teste$diagnosis)
matriz_confusao_adq
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   B   M
##          B 124   0
##          M   8  39
##                                           
##                Accuracy : 0.9532          
##                  95% CI : (0.9099, 0.9796)
##     No Information Rate : 0.7719          
##     P-Value [Acc > NIR] : 0.00000000006343
##                                           
##                   Kappa : 0.8761          
##                                           
##  Mcnemar's Test P-Value : 0.01333         
##                                           
##             Sensitivity : 0.9394          
##             Specificity : 1.0000          
##          Pos Pred Value : 1.0000          
##          Neg Pred Value : 0.8298          
##              Prevalence : 0.7719          
##          Detection Rate : 0.7251          
##    Detection Prevalence : 0.7251          
##       Balanced Accuracy : 0.9697          
##                                           
##        'Positive' Class : B               
## 
print(paste("Acurácia = ", " ", round(matriz_confusao_adq[["overall"]][["Accuracy"]],4)," | " , "Erro de precisão ="," ", round((1 - matriz_confusao_adq[["overall"]][["Accuracy"]]),4), sep = ""))
## [1] "Acurácia =  0.9532 | Erro de precisão = 0.0468"

O modelo teve uma acurácia de 0,9532 que foi maior do que a no modelo anterior. Não obtivemos nenhum falso negativo que é quando o modelo classifica como Benigno o que era identificado como Maligno. Esse resultado é o que pode ser benéfico para nós sabendo que há uma gravidade maior quando o erro de classificação ocorre quando o tumor é na verdade maligno.

d) Faça a classificação de usuários utilizando random forest.

set.seed(00316695)
modelo_rf <- train(diagnosis ~ ., data = dados_cancer_treino, method = "rf", trControl = controle)

predicoes_rf <- predict(modelo_rf, newdata = dados_cancer_teste)

matriz_confusao_rf <- confusionMatrix(predicoes_rf, dados_cancer_teste$diagnosis)
matriz_confusao_rf
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   B   M
##          B 128   0
##          M   4  39
##                                              
##                Accuracy : 0.9766             
##                  95% CI : (0.9412, 0.9936)   
##     No Information Rate : 0.7719             
##     P-Value [Acc > NIR] : 0.00000000000001698
##                                              
##                   Kappa : 0.9359             
##                                              
##  Mcnemar's Test P-Value : 0.1336             
##                                              
##             Sensitivity : 0.9697             
##             Specificity : 1.0000             
##          Pos Pred Value : 1.0000             
##          Neg Pred Value : 0.9070             
##              Prevalence : 0.7719             
##          Detection Rate : 0.7485             
##    Detection Prevalence : 0.7485             
##       Balanced Accuracy : 0.9848             
##                                              
##        'Positive' Class : B                  
## 
print(paste("Acurácia = ", " ", round(matriz_confusao_rf[["overall"]][["Accuracy"]],4)," | " , "Erro de precisão ="," ", round((1 - matriz_confusao_rf[["overall"]][["Accuracy"]]),4), sep = ""))
## [1] "Acurácia =  0.9766 | Erro de precisão = 0.0234"

Obtivemos nesse caso aqui o melhor modelo até agora com 97,66% de acurácia com um índice kappa de 0,9359.

e) Faça a classificação de usuários utilizando SVM.

set.seed(00316695)


modelo_svm <- train(diagnosis ~ ., data = dados_cancer_treino, method = "svmLinear", trControl = controle)

predicoes_svm <- predict(modelo_svm, newdata = dados_cancer_teste)

matriz_confusao_svm <- confusionMatrix(predicoes_svm, dados_cancer_teste$diagnosis)
matriz_confusao_svm
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   B   M
##          B 128   1
##          M   4  38
##                                             
##                Accuracy : 0.9708            
##                  95% CI : (0.9331, 0.9904)  
##     No Information Rate : 0.7719            
##     P-Value [Acc > NIR] : 0.0000000000001713
##                                             
##                   Kappa : 0.9191            
##                                             
##  Mcnemar's Test P-Value : 0.3711            
##                                             
##             Sensitivity : 0.9697            
##             Specificity : 0.9744            
##          Pos Pred Value : 0.9922            
##          Neg Pred Value : 0.9048            
##              Prevalence : 0.7719            
##          Detection Rate : 0.7485            
##    Detection Prevalence : 0.7544            
##       Balanced Accuracy : 0.9720            
##                                             
##        'Positive' Class : B                 
## 
print(paste("Acurácia = ", " ", round(matriz_confusao_svm[["overall"]][["Accuracy"]],4)," | " , "Erro de precisão ="," ", round((1 - matriz_confusao_svm[["overall"]][["Accuracy"]]),4), sep = ""))
## [1] "Acurácia =  0.9708 | Erro de precisão = 0.0292"

Em termo de índice Kappa e da acurácia, o modelo ‘svm’ ficou melhor que o modelo de Análise discriminante quadrática mas não melhor que o modelo de random forest.

f) Faça a classificação de usuários utilizando naive bayes.

set.seed(00316695)

modelo_nb <- train(diagnosis ~ ., data = dados_cancer_treino, method = "naive_bayes", trControl = controle)

predicoes_nb <- predict(modelo_nb, newdata = dados_cancer_teste)

matriz_confusao_nb <- confusionMatrix(predicoes_nb, dados_cancer_teste$diagnosis)
matriz_confusao_nb
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   B   M
##          B 124   3
##          M   8  36
##                                           
##                Accuracy : 0.9357          
##                  95% CI : (0.8878, 0.9675)
##     No Information Rate : 0.7719          
##     P-Value [Acc > NIR] : 0.000000007604  
##                                           
##                   Kappa : 0.8252          
##                                           
##  Mcnemar's Test P-Value : 0.2278          
##                                           
##             Sensitivity : 0.9394          
##             Specificity : 0.9231          
##          Pos Pred Value : 0.9764          
##          Neg Pred Value : 0.8182          
##              Prevalence : 0.7719          
##          Detection Rate : 0.7251          
##    Detection Prevalence : 0.7427          
##       Balanced Accuracy : 0.9312          
##                                           
##        'Positive' Class : B               
## 
print(paste("Acurácia = ", " ", round(matriz_confusao_nb[["overall"]][["Accuracy"]],4)," | " , "Erro de precisão ="," ", round((1 - matriz_confusao_nb[["overall"]][["Accuracy"]]),4), sep = ""))
## [1] "Acurácia =  0.9357 | Erro de precisão = 0.0643"

Esse modelo com 93,57% de acurácia ficou como o pior de todos os modelos.

g) Faça a classificação de usuários utilizando boosting.

set.seed(00316695)
library(gbm)
modelo_boosting <- train(diagnosis ~ ., data = dados_cancer_treino, method = "gbm", trControl = controle, verbose = FALSE)

predicoes_boosting <- predict(modelo_boosting, newdata = dados_cancer_teste)

matriz_confusao_boosting <- confusionMatrix(predicoes_boosting, dados_cancer_teste$diagnosis)
matriz_confusao_boosting
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   B   M
##          B 128   1
##          M   4  38
##                                             
##                Accuracy : 0.9708            
##                  95% CI : (0.9331, 0.9904)  
##     No Information Rate : 0.7719            
##     P-Value [Acc > NIR] : 0.0000000000001713
##                                             
##                   Kappa : 0.9191            
##                                             
##  Mcnemar's Test P-Value : 0.3711            
##                                             
##             Sensitivity : 0.9697            
##             Specificity : 0.9744            
##          Pos Pred Value : 0.9922            
##          Neg Pred Value : 0.9048            
##              Prevalence : 0.7719            
##          Detection Rate : 0.7485            
##    Detection Prevalence : 0.7544            
##       Balanced Accuracy : 0.9720            
##                                             
##        'Positive' Class : B                 
## 
print(paste("Acurácia = ", " ", round(matriz_confusao_boosting[["overall"]][["Accuracy"]],4)," | " , "Erro de precisão ="," ", round((1 - matriz_confusao_boosting[["overall"]][["Accuracy"]]),4), sep = ""))
## [1] "Acurácia =  0.9708 | Erro de precisão = 0.0292"

Este modelo sem dúvidas se apresenta como um bom modelo em comparação ao naive bayes só olhando a acurácia desses modelos. Porém no caso do modelo Boosting, obtivemos um caso de falso negativo.

Exercício 5 (3,5 pontos)

Utilize o banco de dados Default do pacote ISLR do R. Imagine que o objetivo seja prever se um cliente possui dívidas no cartão de crédito (variável Default). Para responder as letras b-d considere os itens abaixo:

1. Escolha 3 métodos de classificação.

library(ISLR)

dados_default <- data.frame(Default)


library(skimr)
library(dplyr)
options(scipen=999)

dados_descritiva <- skim(dados_default[,3:4])
sumario_pronto <- dados_descritiva[c(2, 3, 5, 6, 8, 9, 10)]
names(sumario_pronto)[1:7] <- c ("Variável", "Observações ausentes", "Média", "Desvio Padrão", "Primeiro Quartil(25%)", "Mediana", "Terceiro Quartil(75%)")
sumario_pronto$Média <- round(sumario_pronto$Média,2)
sumario_pronto$`Desvio Padrão` <- round(sumario_pronto$`Desvio Padrão`,2)

arredondando <- function(dataframe, digitos = 2) {
  dataframe_arredondado <- dataframe %>%
    mutate_at(vars(-Variável), ~ round(., digitos))
  
  return(dataframe_arredondado)
}

sumario_pronto <- arredondando(sumario_pronto, digitos = 2)
knitr::kable(sumario_pronto)
Variável Observações ausentes Média Desvio Padrão Primeiro Quartil(25%) Mediana Terceiro Quartil(75%)
balance 0 835.37 483.71 481.73 823.64 1166.31
income 0 33516.98 13336.64 21340.46 34552.64 43807.73
dados_default$default <- as.factor(dados_default$default)
dados_default$student <- as.factor(dados_default$student)
dados_default_fator <- skim(dados_default[,1:2])
names(dados_default_fator)[1:5] <- c("Variável", "Observações ausentes", "default Ordenados", "Categorias", "Contagem")
dados_default_fator$Variável = "Diagnosis"
knitr::kable(dados_default_fator)
Variável Observações ausentes default Ordenados Categorias Contagem factor.n_unique factor.top_counts
Diagnosis default 0 1 FALSE 2 No: 9667, Yes: 333
Diagnosis student 0 1 FALSE 2 No: 7056, Yes: 2944

Foram escolhidos esses métodos seguintes: Boosting, Regressão Logística e Naive Bayes.

2. Calcule o erro de classificação, a matriz de confusão e a curva ROC dos diferentes métodos, utilize bancos de treinamento de proporção \(\{0.1, 0.3, 0.5, 0.7, 0.9 \}\) e validação cruzada 5fold.

a) Faça uma análise exploratória das variáveis através de histogramas/densidades/box-plots/gráfico alluvial … e comente a respeito das características das variáveis.

library(ISLR)


library(skimr)
library(dplyr)
options(scipen=999)

dados_descritiva <- skim(dados_default[,3:4])
sumario_pronto <- dados_descritiva[c(2, 3, 5, 6, 8, 9, 10)]
names(sumario_pronto)[1:7] <- c ("Variável", "Observações ausentes", "Média", "Desvio Padrão", "Primeiro Quartil(25%)", "Mediana", "Terceiro Quartil(75%)")
sumario_pronto$Média <- round(sumario_pronto$Média,2)
sumario_pronto$`Desvio Padrão` <- round(sumario_pronto$`Desvio Padrão`,2)

arredondando <- function(dataframe, digitos = 2) {
  dataframe_arredondado <- dataframe %>%
    mutate_at(vars(-Variável), ~ round(., digitos))
  
  return(dataframe_arredondado)
}

sumario_pronto <- arredondando(sumario_pronto, digitos = 2)
knitr::kable(sumario_pronto)
Variável Observações ausentes Média Desvio Padrão Primeiro Quartil(25%) Mediana Terceiro Quartil(75%)
balance 0 835.37 483.71 481.73 823.64 1166.31
income 0 33516.98 13336.64 21340.46 34552.64 43807.73
dados_default$default <- as.factor(dados_default$default)
dados_default$student <- as.factor(dados_default$student)
dados_default_fator <- skim(dados_default[,1:2])
names(dados_default_fator)[1:5] <- c("Variável", "Observações ausentes", "default Ordenados", "Categorias", "Contagem")
dados_default_fator$Variável = "Diagnosis"
knitr::kable(dados_default_fator)
Variável Observações ausentes default Ordenados Categorias Contagem factor.n_unique factor.top_counts
Diagnosis default 0 1 FALSE 2 No: 9667, Yes: 333
Diagnosis student 0 1 FALSE 2 No: 7056, Yes: 2944

O banco de dados não possui ausência de informações, entretanto há algumas observações com valores de 0 na variável balance. A maioria das observações são de não-estudantes e não ficam devendo no cartão de crédito após o recebimento do salário mensal. A variável de income é a que mais se aproxima de uma distribuição normal.

## [1] 31
## [1] 2202.462

Segundo os boxplots das variáveis balance e income, percebemos A presença de outliers na variável balance e 0 na variável income.

b) O que ocorre quando aumentamos o tamanho do banco de treinamento? Justifique a sua resposta.

## [1] "=========================================================="
## [1] "Método = Boosting | Proporção do banco de treinamento = 0.1"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  8635  221
##        Yes   65   79
##                                              
##                Accuracy : 0.9682             
##                  95% CI : (0.9644, 0.9717)   
##     No Information Rate : 0.9667             
##     P-Value [Acc > NIR] : 0.2149             
##                                              
##                   Kappa : 0.3416             
##                                              
##  Mcnemar's Test P-Value : <0.0000000000000002
##                                              
##             Sensitivity : 0.9925             
##             Specificity : 0.2633             
##          Pos Pred Value : 0.9750             
##          Neg Pred Value : 0.5486             
##              Prevalence : 0.9667             
##          Detection Rate : 0.9594             
##    Detection Prevalence : 0.9840             
##       Balanced Accuracy : 0.6279             
##                                              
##        'Positive' Class : No                 
##                                              
## [1] "Acurácia =  0.9682 | Erro de precisão = 0.0318"
## [1] "=========================================================="
## [1] "Método = Reglog | Proporção do banco de treinamento = 0.1"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  8651  190
##        Yes   49  110
##                                                
##                Accuracy : 0.9734               
##                  95% CI : (0.9699, 0.9767)     
##     No Information Rate : 0.9667               
##     P-Value [Acc > NIR] : 0.0001215            
##                                                
##                   Kappa : 0.467                
##                                                
##  Mcnemar's Test P-Value : < 0.00000000000000022
##                                                
##             Sensitivity : 0.9944               
##             Specificity : 0.3667               
##          Pos Pred Value : 0.9785               
##          Neg Pred Value : 0.6918               
##              Prevalence : 0.9667               
##          Detection Rate : 0.9612               
##    Detection Prevalence : 0.9823               
##       Balanced Accuracy : 0.6805               
##                                                
##        'Positive' Class : No                   
##                                                
## [1] "Acurácia =  0.9734 | Erro de precisão = 0.0266"
## [1] "=========================================================="
## [1] "Método = NaiveBayes | Proporção do banco de treinamento = 0.1"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  8695  282
##        Yes    5   18
##                                              
##                Accuracy : 0.9681             
##                  95% CI : (0.9643, 0.9716)   
##     No Information Rate : 0.9667             
##     P-Value [Acc > NIR] : 0.2327             
##                                              
##                   Kappa : 0.1072             
##                                              
##  Mcnemar's Test P-Value : <0.0000000000000002
##                                              
##             Sensitivity : 0.9994             
##             Specificity : 0.0600             
##          Pos Pred Value : 0.9686             
##          Neg Pred Value : 0.7826             
##              Prevalence : 0.9667             
##          Detection Rate : 0.9661             
##    Detection Prevalence : 0.9974             
##       Balanced Accuracy : 0.5297             
##                                              
##        'Positive' Class : No                 
##                                              
## [1] "Acurácia =  0.9681 | Erro de precisão = 0.0319"
## [1] "=========================================================="
## [1] "Método = Boosting | Proporção do banco de treinamento = 0.3"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  6699  137
##        Yes   69   95
##                                           
##                Accuracy : 0.9706          
##                  95% CI : (0.9663, 0.9744)
##     No Information Rate : 0.9669          
##     P-Value [Acc > NIR] : 0.04239         
##                                           
##                   Kappa : 0.4651          
##                                           
##  Mcnemar's Test P-Value : 0.00000304      
##                                           
##             Sensitivity : 0.9898          
##             Specificity : 0.4095          
##          Pos Pred Value : 0.9800          
##          Neg Pred Value : 0.5793          
##              Prevalence : 0.9669          
##          Detection Rate : 0.9570          
##    Detection Prevalence : 0.9766          
##       Balanced Accuracy : 0.6996          
##                                           
##        'Positive' Class : No              
##                                           
## [1] "Acurácia =  0.9706 | Erro de precisão = 0.0294"
## [1] "=========================================================="
## [1] "Método = Reglog | Proporção do banco de treinamento = 0.3"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  6724  144
##        Yes   44   88
##                                             
##                Accuracy : 0.9731            
##                  95% CI : (0.9691, 0.9768)  
##     No Information Rate : 0.9669            
##     P-Value [Acc > NIR] : 0.001399          
##                                             
##                   Kappa : 0.4708            
##                                             
##  Mcnemar's Test P-Value : 0.0000000000005187
##                                             
##             Sensitivity : 0.9935            
##             Specificity : 0.3793            
##          Pos Pred Value : 0.9790            
##          Neg Pred Value : 0.6667            
##              Prevalence : 0.9669            
##          Detection Rate : 0.9606            
##    Detection Prevalence : 0.9811            
##       Balanced Accuracy : 0.6864            
##                                             
##        'Positive' Class : No                
##                                             
## [1] "Acurácia =  0.9731 | Erro de precisão = 0.0269"
## [1] "=========================================================="
## [1] "Método = NaiveBayes | Proporção do banco de treinamento = 0.3"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  6716  157
##        Yes   52   75
##                                           
##                Accuracy : 0.9701          
##                  95% CI : (0.9659, 0.974) 
##     No Information Rate : 0.9669          
##     P-Value [Acc > NIR] : 0.06474         
##                                           
##                   Kappa : 0.4038          
##                                           
##  Mcnemar's Test P-Value : 0.00000000000063
##                                           
##             Sensitivity : 0.9923          
##             Specificity : 0.3233          
##          Pos Pred Value : 0.9772          
##          Neg Pred Value : 0.5906          
##              Prevalence : 0.9669          
##          Detection Rate : 0.9594          
##    Detection Prevalence : 0.9819          
##       Balanced Accuracy : 0.6578          
##                                           
##        'Positive' Class : No              
##                                           
## [1] "Acurácia =  0.9701 | Erro de precisão = 0.0299"
## [1] "=========================================================="
## [1] "Método = Boosting | Proporção do banco de treinamento = 0.5"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  4803   99
##        Yes   39   59
##                                           
##                Accuracy : 0.9724          
##                  95% CI : (0.9675, 0.9768)
##     No Information Rate : 0.9684          
##     P-Value [Acc > NIR] : 0.05517         
##                                           
##                   Kappa : 0.4476          
##                                           
##  Mcnemar's Test P-Value : 0.0000005103    
##                                           
##             Sensitivity : 0.9919          
##             Specificity : 0.3734          
##          Pos Pred Value : 0.9798          
##          Neg Pred Value : 0.6020          
##              Prevalence : 0.9684          
##          Detection Rate : 0.9606          
##    Detection Prevalence : 0.9804          
##       Balanced Accuracy : 0.6827          
##                                           
##        'Positive' Class : No              
##                                           
## [1] "Acurácia =  0.9724 | Erro de precisão = 0.0276"
## [1] "=========================================================="
## [1] "Método = Reglog | Proporção do banco de treinamento = 0.5"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  4816  105
##        Yes   26   53
##                                            
##                Accuracy : 0.9738           
##                  95% CI : (0.969, 0.978)   
##     No Information Rate : 0.9684           
##     P-Value [Acc > NIR] : 0.0142           
##                                            
##                   Kappa : 0.4354           
##                                            
##  Mcnemar's Test P-Value : 0.000000000009433
##                                            
##             Sensitivity : 0.9946           
##             Specificity : 0.3354           
##          Pos Pred Value : 0.9787           
##          Neg Pred Value : 0.6709           
##              Prevalence : 0.9684           
##          Detection Rate : 0.9632           
##    Detection Prevalence : 0.9842           
##       Balanced Accuracy : 0.6650           
##                                            
##        'Positive' Class : No               
##                                            
## [1] "Acurácia =  0.9738 | Erro de precisão = 0.0262"
## [1] "=========================================================="
## [1] "Método = NaiveBayes | Proporção do banco de treinamento = 0.5"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  4801  107
##        Yes   41   51
##                                           
##                Accuracy : 0.9704          
##                  95% CI : (0.9653, 0.9749)
##     No Information Rate : 0.9684          
##     P-Value [Acc > NIR] : 0.2228          
##                                           
##                   Kappa : 0.3939          
##                                           
##  Mcnemar's Test P-Value : 0.00000009144   
##                                           
##             Sensitivity : 0.9915          
##             Specificity : 0.3228          
##          Pos Pred Value : 0.9782          
##          Neg Pred Value : 0.5543          
##              Prevalence : 0.9684          
##          Detection Rate : 0.9602          
##    Detection Prevalence : 0.9816          
##       Balanced Accuracy : 0.6572          
##                                           
##        'Positive' Class : No              
##                                           
## [1] "Acurácia =  0.9704 | Erro de precisão = 0.0296"
## [1] "=========================================================="
## [1] "Método = Boosting | Proporção do banco de treinamento = 0.7"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  2888   57
##        Yes   19   36
##                                         
##                Accuracy : 0.9747        
##                  95% CI : (0.9684, 0.98)
##     No Information Rate : 0.969         
##     P-Value [Acc > NIR] : 0.03795       
##                                         
##                   Kappa : 0.4744        
##                                         
##  Mcnemar's Test P-Value : 0.00002194    
##                                         
##             Sensitivity : 0.9935        
##             Specificity : 0.3871        
##          Pos Pred Value : 0.9806        
##          Neg Pred Value : 0.6545        
##              Prevalence : 0.9690        
##          Detection Rate : 0.9627        
##    Detection Prevalence : 0.9817        
##       Balanced Accuracy : 0.6903        
##                                         
##        'Positive' Class : No            
##                                         
## [1] "Acurácia =  0.9747 | Erro de precisão = 0.0253"
## [1] "=========================================================="
## [1] "Método = Reglog | Proporção do banco de treinamento = 0.7"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  2896   61
##        Yes   11   32
##                                           
##                Accuracy : 0.976           
##                  95% CI : (0.9699, 0.9812)
##     No Information Rate : 0.969           
##     P-Value [Acc > NIR] : 0.01297         
##                                           
##                   Kappa : 0.46            
##                                           
##  Mcnemar's Test P-Value : 0.000000007709  
##                                           
##             Sensitivity : 0.9962          
##             Specificity : 0.3441          
##          Pos Pred Value : 0.9794          
##          Neg Pred Value : 0.7442          
##              Prevalence : 0.9690          
##          Detection Rate : 0.9653          
##    Detection Prevalence : 0.9857          
##       Balanced Accuracy : 0.6702          
##                                           
##        'Positive' Class : No              
##                                           
## [1] "Acurácia =  0.976 | Erro de precisão = 0.024"
## [1] "=========================================================="
## [1] "Método = NaiveBayes | Proporção do banco de treinamento = 0.7"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction   No  Yes
##        No  2901   78
##        Yes    6   15
##                                               
##                Accuracy : 0.972               
##                  95% CI : (0.9655, 0.9776)    
##     No Information Rate : 0.969               
##     P-Value [Acc > NIR] : 0.1861              
##                                               
##                   Kappa : 0.2546              
##                                               
##  Mcnemar's Test P-Value : 0.000000000000009429
##                                               
##             Sensitivity : 0.9979              
##             Specificity : 0.1613              
##          Pos Pred Value : 0.9738              
##          Neg Pred Value : 0.7143              
##              Prevalence : 0.9690              
##          Detection Rate : 0.9670              
##    Detection Prevalence : 0.9930              
##       Balanced Accuracy : 0.5796              
##                                               
##        'Positive' Class : No                  
##                                               
## [1] "Acurácia =  0.972 | Erro de precisão = 0.028"
## [1] "=========================================================="
## [1] "Método = Boosting | Proporção do banco de treinamento = 0.9"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction  No Yes
##        No  958  26
##        Yes   6  10
##                                          
##                Accuracy : 0.968          
##                  95% CI : (0.9551, 0.978)
##     No Information Rate : 0.964          
##     P-Value [Acc > NIR] : 0.2819837      
##                                          
##                   Kappa : 0.3707         
##                                          
##  Mcnemar's Test P-Value : 0.0007829      
##                                          
##             Sensitivity : 0.9938         
##             Specificity : 0.2778         
##          Pos Pred Value : 0.9736         
##          Neg Pred Value : 0.6250         
##              Prevalence : 0.9640         
##          Detection Rate : 0.9580         
##    Detection Prevalence : 0.9840         
##       Balanced Accuracy : 0.6358         
##                                          
##        'Positive' Class : No             
##                                          
## [1] "Acurácia =  0.968 | Erro de precisão = 0.032"
## [1] "=========================================================="
## [1] "Método = Reglog | Proporção do banco de treinamento = 0.9"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction  No Yes
##        No  958  27
##        Yes   6   9
##                                          
##                Accuracy : 0.967          
##                  95% CI : (0.954, 0.9772)
##     No Information Rate : 0.964          
##     P-Value [Acc > NIR] : 0.3436369      
##                                          
##                   Kappa : 0.3389         
##                                          
##  Mcnemar's Test P-Value : 0.0004985      
##                                          
##             Sensitivity : 0.9938         
##             Specificity : 0.2500         
##          Pos Pred Value : 0.9726         
##          Neg Pred Value : 0.6000         
##              Prevalence : 0.9640         
##          Detection Rate : 0.9580         
##    Detection Prevalence : 0.9850         
##       Balanced Accuracy : 0.6219         
##                                          
##        'Positive' Class : No             
##                                          
## [1] "Acurácia =  0.967 | Erro de precisão = 0.033"
## [1] "=========================================================="
## [1] "Método = NaiveBayes | Proporção do banco de treinamento = 0.9"
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction  No Yes
##        No  962  33
##        Yes   2   3
##                                           
##                Accuracy : 0.965           
##                  95% CI : (0.9517, 0.9755)
##     No Information Rate : 0.964           
##     P-Value [Acc > NIR] : 0.4766          
##                                           
##                   Kappa : 0.1388          
##                                           
##  Mcnemar's Test P-Value : 0.0000003959    
##                                           
##             Sensitivity : 0.99793         
##             Specificity : 0.08333         
##          Pos Pred Value : 0.96683         
##          Neg Pred Value : 0.60000         
##              Prevalence : 0.96400         
##          Detection Rate : 0.96200         
##    Detection Prevalence : 0.99500         
##       Balanced Accuracy : 0.54063         
##                                           
##        'Positive' Class : No              
##                                           
## [1] "Acurácia =  0.965 | Erro de precisão = 0.035"
Acurácia Kappa Método Proporção Treino
0.968 0.342 Boosting 0.1
0.973 0.467 Reglog 0.1
0.968 0.107 NaiveBayes 0.1
0.971 0.465 Boosting 0.3
0.973 0.471 Reglog 0.3
0.970 0.404 NaiveBayes 0.3
0.972 0.448 Boosting 0.5
0.974 0.435 Reglog 0.5
0.970 0.394 NaiveBayes 0.5
0.975 0.474 Boosting 0.7
0.976 0.460 Reglog 0.7
0.972 0.255 NaiveBayes 0.7
0.968 0.371 Boosting 0.9
0.967 0.339 Reglog 0.9
0.965 0.139 NaiveBayes 0.9

Com excessão do método de Naive Bayes, se apresentou como proporção do banco de treinamento mais interessante, o valor de 70% do banco de dados. A acurácia parece ser a mais alta quando utilizamos este valor. Entretanto, vamos checar também o Kappa para ver se o padrão permanece.

Em dois dos três métodos (Regressão Logística e Boosting ), o Kappa esteve ficou maior quando a proporção do banco de treinamento era de 30% em relação ao banco original.

c) Plote o gráfico das diferentes curvas ROC estimadas para cada tamanho do banco de treinamento, faça isso para cada um dos 3 métodos de classificação escolhidos.

d) Faça o gráfico dos limites de classificação dado as covariáveis quantitativas.

e) Há algum outlier nesse banco de dados? Justifique a sua resposta.

Sim, há presença de outliers no banco especialmente na variável ‘balance’ analisando os boxplots construidos anteriormente.