Statistical Modeling: The Two Cultures.De acordo com o artigo as duas principais culturas utilizadas na modelagem estatística são: “cultura da modelagem de dados” e a “cultura da modelagem por algoritmos”. O autor Leo Breiman comentou sobre esas duas principais linhas de abordagem ao problema de interpretação de análise de dados de diferentes naturezas e de modelagem estatística. A “cultura da modelagem de dados” de acordo com o artigo é uma cultura onde os dados são enquadrados em algum modelo matemático ou probabilístico que busca melhor representar as características associadas a estes dados enquanto a “cultura da modelagem por algoritmos” é uma cultura onde os dados não são necessariamente avaliados quanto a seu fit a algum modelo específico, mas sim submetidos a tratamentos analíticos que geram resultados importantes em termos da capacidade de predição ou da eficiência de classificação de unidades amstrais em categorias distintas.
O autor Leo Breiman parece preferir mais a abordagem da modelagem algorítmica mostrando as falhas na corrente do pensamento mais comum na estatística através da falta flexibilidade das abordagens de modelagem de dados e da incapacidade dos modelos em captar a totalidade das nuances dos dados e sua estrutura. Além disso, ele salienta os lados positivos da modelagem
man sobre essas duas culturas. {-}
Cox defende a modelagem estatística tradicional dos dados, onde mostra que as abordagens tradicionais, com seus já consolidados conhecimentos nas áreas de probabilidade e inferência, podem também ser úteis na análise de dados e processos. Cox parece defender a idéia que a descrição da estrutura intrínseca dos dados e sua adequação a um modelo parece ser mais relevante ou informativa do que o puro e simples emprego de tais dados em tarefas práticas.
Podemos dizer que erro irredutível é um erro que não pode ser reduzido apenas mudando o modelo.
Os erros redutíveis são os erros decorrentes do viés e da variância do modelo.
Quando por exemplo, temos alguma feature que falta na nossa base de dados e que nos impede de gerar predições corretas. Neste caso seria impossível prever com exatidão cada saída esperada e nesse caso o erro fica irredutível.
Quando por exemplo, calculamos diferenças entre os valores observados e os valores preditos em um modelo de regressão linear falamos de erros redutíveis
Missing completely at random (MCAR): quando a probabilidade dos dados faltantes é a mesma entre as observações. Por exemplo, dados perdidos por um backup incorreto.
Missing at random (MAR): quando os dados faltantes variam de acordo com outras variáveis. Por exemplo, missing em uma variável idade pode ser diferente entre mulheres e homens.
Missing not at random (MNAR): quando a probabilidade de missing está relacionada ao missing. Por exemplo, dependendo da renda do cliente, é mais provável que ele não responda sobre a renda.
Nós dividirmos o banco de dados em treinamento e teste porque o banco de treinamento nós ajudará a treinar o nosso modelo e o banco de teste ajudará a avaliar o performance do modelo com os dados que não foram utilizados durante o treinamento do modelo. Essa técnica usada em machine learning ajuda a evitar o problema de overfitting (sobreajuste), que acontece justamente quando o modelo se ajusta muito bem aos dados de treinamento mas tem um desempenho ruim ao se ajustar aos dados novos (dados futuros ou dados de teste)
Sim, minimizar o erro quadrático médio do banco de dados de treinamento pode levar ao overfitting porque o modelo pode se ajustar muito bem aos dados de treinamento, mas não se ajustar bem aos novos dados.
o método de Naive Bayes é considerado “ingênuo porque ele considera que as características(features) do banco de dados são independentes condicionalmente à classe da variável ‘target’ para cada linha analisada do banco de dados.
Crie um diagrama de árvore da figura abaixo, você pode tirar uma foto da solução desse exercício e plotar no relatório.
’
# Carregando os pacotes
library(caret)
## Carregando pacotes exigidos: ggplot2
## Carregando pacotes exigidos: lattice
library(tidyverse)
## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr 1.1.2 ✔ readr 2.1.4
## ✔ forcats 1.0.0 ✔ stringr 1.5.0
## ✔ lubridate 1.9.2 ✔ tibble 3.2.1
## ✔ purrr 1.0.1 ✔ tidyr 1.3.0
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag() masks stats::lag()
## ✖ purrr::lift() masks caret::lift()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errors
library(skimr)
library(dplyr)
library(caret)
library(glmnet)
## Carregando pacotes exigidos: Matrix
##
## Attaching package: 'Matrix'
##
## The following objects are masked from 'package:tidyr':
##
## expand, pack, unpack
##
## Loaded glmnet 4.1-7
library(kernlab)
##
## Attaching package: 'kernlab'
##
## The following object is masked from 'package:purrr':
##
## cross
##
## The following object is masked from 'package:ggplot2':
##
## alpha
library(naivebayes)
## naivebayes 0.9.7 loaded
| Variável | Observações ausentes | Média | Desvio Padrão | Primeiro Quartil(25%) | Mediana | Terceiro Quartil(75%) |
|---|---|---|---|---|---|---|
| radius_mean | 0 | 14.13 | 3.52 | 11.70 | 13.37 | 15.78 |
| texture_mean | 0 | 19.29 | 4.30 | 16.17 | 18.84 | 21.80 |
| perimeter_mean | 0 | 91.97 | 24.30 | 75.17 | 86.24 | 104.10 |
| area_mean | 0 | 654.89 | 351.91 | 420.30 | 551.10 | 782.70 |
| smoothness_mean | 0 | 0.10 | 0.01 | 0.09 | 0.10 | 0.11 |
| compactness_mean | 0 | 0.10 | 0.05 | 0.06 | 0.09 | 0.13 |
| concavity_mean | 0 | 0.09 | 0.08 | 0.03 | 0.06 | 0.13 |
| concave.points_mean | 0 | 0.05 | 0.04 | 0.02 | 0.03 | 0.07 |
| symmetry_mean | 0 | 0.18 | 0.03 | 0.16 | 0.18 | 0.20 |
| fractal_dimension_mean | 0 | 0.06 | 0.01 | 0.06 | 0.06 | 0.07 |
| radius_se | 0 | 0.41 | 0.28 | 0.23 | 0.32 | 0.48 |
| texture_se | 0 | 1.22 | 0.55 | 0.83 | 1.11 | 1.47 |
| perimeter_se | 0 | 2.87 | 2.02 | 1.61 | 2.29 | 3.36 |
| area_se | 0 | 40.34 | 45.49 | 17.85 | 24.53 | 45.19 |
| smoothness_se | 0 | 0.01 | 0.00 | 0.01 | 0.01 | 0.01 |
| compactness_se | 0 | 0.03 | 0.02 | 0.01 | 0.02 | 0.03 |
| concavity_se | 0 | 0.03 | 0.03 | 0.02 | 0.03 | 0.04 |
| concave.points_se | 0 | 0.01 | 0.01 | 0.01 | 0.01 | 0.01 |
| symmetry_se | 0 | 0.02 | 0.01 | 0.02 | 0.02 | 0.02 |
| fractal_dimension_se | 0 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 |
| radius_worst | 0 | 16.27 | 4.83 | 13.01 | 14.97 | 18.79 |
| texture_worst | 0 | 25.68 | 6.15 | 21.08 | 25.41 | 29.72 |
| perimeter_worst | 0 | 107.26 | 33.60 | 84.11 | 97.66 | 125.40 |
| area_worst | 0 | 880.58 | 569.36 | 515.30 | 686.50 | 1084.00 |
| smoothness_worst | 0 | 0.13 | 0.02 | 0.12 | 0.13 | 0.15 |
| compactness_worst | 0 | 0.25 | 0.16 | 0.15 | 0.21 | 0.34 |
| concavity_worst | 0 | 0.27 | 0.21 | 0.11 | 0.23 | 0.38 |
| concave.points_worst | 0 | 0.11 | 0.07 | 0.06 | 0.10 | 0.16 |
| symmetry_worst | 0 | 0.29 | 0.06 | 0.25 | 0.28 | 0.32 |
| fractal_dimension_worst | 0 | 0.08 | 0.02 | 0.07 | 0.08 | 0.09 |
| Variável | Observações ausentes | Dados Ordenados | Categorias | Contagem | numeric.p25 | numeric.p50 | numeric.p75 | numeric.p100 | numeric.hist |
|---|---|---|---|---|---|---|---|---|---|
| Diagnosis | 0 | 14.12729 | 3.524049 | 6.981 | 11.7 | 13.37 | 15.78 | 28.11 | ▂▇▃▁▁ |
set.seed(00316695)
dados_cancer_treino <- dados_cancer[(1:(nrow(dados_cancer)*0.7)),]
dados_cancer_teste <- dados_cancer[(nrow(dados_cancer_treino)+1):nrow(dados_cancer),]
controle <- trainControl(method = "cv", number = 10)
modelo <- train(diagnosis ~ ., data = dados_cancer_treino, method = "glm", trControl = controle, family = "binomial")
predicoes <- predict(modelo, newdata = dados_cancer_teste)
dados_cancer_teste$diagnosis <- as.factor(dados_cancer_teste$diagnosis)
matriz_confusao <- confusionMatrix(predicoes, dados_cancer_teste$diagnosis)
print(matriz_confusao)
## Confusion Matrix and Statistics
##
## Reference
## Prediction B M
## B 122 2
## M 10 37
##
## Accuracy : 0.9298
## 95% CI : (0.8806, 0.9632)
## No Information Rate : 0.7719
## P-Value [Acc > NIR] : 0.00000003082
##
## Kappa : 0.8141
##
## Mcnemar's Test P-Value : 0.04331
##
## Sensitivity : 0.9242
## Specificity : 0.9487
## Pos Pred Value : 0.9839
## Neg Pred Value : 0.7872
## Prevalence : 0.7719
## Detection Rate : 0.7135
## Detection Prevalence : 0.7251
## Balanced Accuracy : 0.9365
##
## 'Positive' Class : B
##
print(paste("Acurácia = ", " ", round(matriz_confusao[["overall"]][["Accuracy"]],4)," | " , "Erro de precisão ="," ", round((1 - matriz_confusao[["overall"]][["Accuracy"]]),4), sep = ""))
## [1] "Acurácia = 0.9298 | Erro de precisão = 0.0702"
O modelo apresentou uma acurácia de 92,98% e um bom índice Kappa de 0,8141, errando em grande parte quando na verdade o tumor é Benigno, e que o modelo classificou como Maligno.
set.seed(00316695)
controle <- trainControl(method = "cv", number = 10)
modelo_adq <- train(diagnosis ~ ., data = dados_cancer_treino, method = "qda", trControl = controle)
predicoes_adq <- predict(modelo_adq, newdata = dados_cancer_teste)
matriz_confusao_adq <- confusionMatrix(predicoes_adq, dados_cancer_teste$diagnosis)
matriz_confusao_adq
## Confusion Matrix and Statistics
##
## Reference
## Prediction B M
## B 124 0
## M 8 39
##
## Accuracy : 0.9532
## 95% CI : (0.9099, 0.9796)
## No Information Rate : 0.7719
## P-Value [Acc > NIR] : 0.00000000006343
##
## Kappa : 0.8761
##
## Mcnemar's Test P-Value : 0.01333
##
## Sensitivity : 0.9394
## Specificity : 1.0000
## Pos Pred Value : 1.0000
## Neg Pred Value : 0.8298
## Prevalence : 0.7719
## Detection Rate : 0.7251
## Detection Prevalence : 0.7251
## Balanced Accuracy : 0.9697
##
## 'Positive' Class : B
##
print(paste("Acurácia = ", " ", round(matriz_confusao_adq[["overall"]][["Accuracy"]],4)," | " , "Erro de precisão ="," ", round((1 - matriz_confusao_adq[["overall"]][["Accuracy"]]),4), sep = ""))
## [1] "Acurácia = 0.9532 | Erro de precisão = 0.0468"
O modelo teve uma acurácia de 0,9532 que foi maior do que a no modelo anterior. Não obtivemos nenhum falso negativo que é quando o modelo classifica como Benigno o que era identificado como Maligno. Esse resultado é o que pode ser benéfico para nós sabendo que há uma gravidade maior quando o erro de classificação ocorre quando o tumor é na verdade maligno.
set.seed(00316695)
modelo_rf <- train(diagnosis ~ ., data = dados_cancer_treino, method = "rf", trControl = controle)
predicoes_rf <- predict(modelo_rf, newdata = dados_cancer_teste)
matriz_confusao_rf <- confusionMatrix(predicoes_rf, dados_cancer_teste$diagnosis)
matriz_confusao_rf
## Confusion Matrix and Statistics
##
## Reference
## Prediction B M
## B 128 0
## M 4 39
##
## Accuracy : 0.9766
## 95% CI : (0.9412, 0.9936)
## No Information Rate : 0.7719
## P-Value [Acc > NIR] : 0.00000000000001698
##
## Kappa : 0.9359
##
## Mcnemar's Test P-Value : 0.1336
##
## Sensitivity : 0.9697
## Specificity : 1.0000
## Pos Pred Value : 1.0000
## Neg Pred Value : 0.9070
## Prevalence : 0.7719
## Detection Rate : 0.7485
## Detection Prevalence : 0.7485
## Balanced Accuracy : 0.9848
##
## 'Positive' Class : B
##
print(paste("Acurácia = ", " ", round(matriz_confusao_rf[["overall"]][["Accuracy"]],4)," | " , "Erro de precisão ="," ", round((1 - matriz_confusao_rf[["overall"]][["Accuracy"]]),4), sep = ""))
## [1] "Acurácia = 0.9766 | Erro de precisão = 0.0234"
Obtivemos nesse caso aqui o melhor modelo até agora com 97,66% de acurácia com um índice kappa de 0,9359.
set.seed(00316695)
modelo_svm <- train(diagnosis ~ ., data = dados_cancer_treino, method = "svmLinear", trControl = controle)
predicoes_svm <- predict(modelo_svm, newdata = dados_cancer_teste)
matriz_confusao_svm <- confusionMatrix(predicoes_svm, dados_cancer_teste$diagnosis)
matriz_confusao_svm
## Confusion Matrix and Statistics
##
## Reference
## Prediction B M
## B 128 1
## M 4 38
##
## Accuracy : 0.9708
## 95% CI : (0.9331, 0.9904)
## No Information Rate : 0.7719
## P-Value [Acc > NIR] : 0.0000000000001713
##
## Kappa : 0.9191
##
## Mcnemar's Test P-Value : 0.3711
##
## Sensitivity : 0.9697
## Specificity : 0.9744
## Pos Pred Value : 0.9922
## Neg Pred Value : 0.9048
## Prevalence : 0.7719
## Detection Rate : 0.7485
## Detection Prevalence : 0.7544
## Balanced Accuracy : 0.9720
##
## 'Positive' Class : B
##
print(paste("Acurácia = ", " ", round(matriz_confusao_svm[["overall"]][["Accuracy"]],4)," | " , "Erro de precisão ="," ", round((1 - matriz_confusao_svm[["overall"]][["Accuracy"]]),4), sep = ""))
## [1] "Acurácia = 0.9708 | Erro de precisão = 0.0292"
Em termo de índice Kappa e da acurácia, o modelo ‘svm’ ficou melhor que o modelo de Análise discriminante quadrática mas não melhor que o modelo de random forest.
set.seed(00316695)
modelo_nb <- train(diagnosis ~ ., data = dados_cancer_treino, method = "naive_bayes", trControl = controle)
predicoes_nb <- predict(modelo_nb, newdata = dados_cancer_teste)
matriz_confusao_nb <- confusionMatrix(predicoes_nb, dados_cancer_teste$diagnosis)
matriz_confusao_nb
## Confusion Matrix and Statistics
##
## Reference
## Prediction B M
## B 124 3
## M 8 36
##
## Accuracy : 0.9357
## 95% CI : (0.8878, 0.9675)
## No Information Rate : 0.7719
## P-Value [Acc > NIR] : 0.000000007604
##
## Kappa : 0.8252
##
## Mcnemar's Test P-Value : 0.2278
##
## Sensitivity : 0.9394
## Specificity : 0.9231
## Pos Pred Value : 0.9764
## Neg Pred Value : 0.8182
## Prevalence : 0.7719
## Detection Rate : 0.7251
## Detection Prevalence : 0.7427
## Balanced Accuracy : 0.9312
##
## 'Positive' Class : B
##
print(paste("Acurácia = ", " ", round(matriz_confusao_nb[["overall"]][["Accuracy"]],4)," | " , "Erro de precisão ="," ", round((1 - matriz_confusao_nb[["overall"]][["Accuracy"]]),4), sep = ""))
## [1] "Acurácia = 0.9357 | Erro de precisão = 0.0643"
Esse modelo com 93,57% de acurácia ficou como o pior de todos os modelos.
set.seed(00316695)
library(gbm)
modelo_boosting <- train(diagnosis ~ ., data = dados_cancer_treino, method = "gbm", trControl = controle, verbose = FALSE)
predicoes_boosting <- predict(modelo_boosting, newdata = dados_cancer_teste)
matriz_confusao_boosting <- confusionMatrix(predicoes_boosting, dados_cancer_teste$diagnosis)
matriz_confusao_boosting
## Confusion Matrix and Statistics
##
## Reference
## Prediction B M
## B 128 1
## M 4 38
##
## Accuracy : 0.9708
## 95% CI : (0.9331, 0.9904)
## No Information Rate : 0.7719
## P-Value [Acc > NIR] : 0.0000000000001713
##
## Kappa : 0.9191
##
## Mcnemar's Test P-Value : 0.3711
##
## Sensitivity : 0.9697
## Specificity : 0.9744
## Pos Pred Value : 0.9922
## Neg Pred Value : 0.9048
## Prevalence : 0.7719
## Detection Rate : 0.7485
## Detection Prevalence : 0.7544
## Balanced Accuracy : 0.9720
##
## 'Positive' Class : B
##
print(paste("Acurácia = ", " ", round(matriz_confusao_boosting[["overall"]][["Accuracy"]],4)," | " , "Erro de precisão ="," ", round((1 - matriz_confusao_boosting[["overall"]][["Accuracy"]]),4), sep = ""))
## [1] "Acurácia = 0.9708 | Erro de precisão = 0.0292"
Este modelo sem dúvidas se apresenta como um bom modelo em comparação ao naive bayes só olhando a acurácia desses modelos. Porém no caso do modelo Boosting, obtivemos um caso de falso negativo.
Default do
pacote ISLR do R. Imagine que o objetivo seja prever se um
cliente possui dívidas no cartão de crédito (variável Default).
Para responder as letras b-d considere os itens abaixo:library(ISLR)
dados_default <- data.frame(Default)
library(skimr)
library(dplyr)
options(scipen=999)
dados_descritiva <- skim(dados_default[,3:4])
sumario_pronto <- dados_descritiva[c(2, 3, 5, 6, 8, 9, 10)]
names(sumario_pronto)[1:7] <- c ("Variável", "Observações ausentes", "Média", "Desvio Padrão", "Primeiro Quartil(25%)", "Mediana", "Terceiro Quartil(75%)")
sumario_pronto$Média <- round(sumario_pronto$Média,2)
sumario_pronto$`Desvio Padrão` <- round(sumario_pronto$`Desvio Padrão`,2)
arredondando <- function(dataframe, digitos = 2) {
dataframe_arredondado <- dataframe %>%
mutate_at(vars(-Variável), ~ round(., digitos))
return(dataframe_arredondado)
}
sumario_pronto <- arredondando(sumario_pronto, digitos = 2)
knitr::kable(sumario_pronto)
| Variável | Observações ausentes | Média | Desvio Padrão | Primeiro Quartil(25%) | Mediana | Terceiro Quartil(75%) |
|---|---|---|---|---|---|---|
| balance | 0 | 835.37 | 483.71 | 481.73 | 823.64 | 1166.31 |
| income | 0 | 33516.98 | 13336.64 | 21340.46 | 34552.64 | 43807.73 |
dados_default$default <- as.factor(dados_default$default)
dados_default$student <- as.factor(dados_default$student)
dados_default_fator <- skim(dados_default[,1:2])
names(dados_default_fator)[1:5] <- c("Variável", "Observações ausentes", "default Ordenados", "Categorias", "Contagem")
dados_default_fator$Variável = "Diagnosis"
knitr::kable(dados_default_fator)
| Variável | Observações ausentes | default Ordenados | Categorias | Contagem | factor.n_unique | factor.top_counts |
|---|---|---|---|---|---|---|
| Diagnosis | default | 0 | 1 | FALSE | 2 | No: 9667, Yes: 333 |
| Diagnosis | student | 0 | 1 | FALSE | 2 | No: 7056, Yes: 2944 |
Foram escolhidos esses métodos seguintes: Boosting, Regressão Logística e Naive Bayes.
library(ISLR)
library(skimr)
library(dplyr)
options(scipen=999)
dados_descritiva <- skim(dados_default[,3:4])
sumario_pronto <- dados_descritiva[c(2, 3, 5, 6, 8, 9, 10)]
names(sumario_pronto)[1:7] <- c ("Variável", "Observações ausentes", "Média", "Desvio Padrão", "Primeiro Quartil(25%)", "Mediana", "Terceiro Quartil(75%)")
sumario_pronto$Média <- round(sumario_pronto$Média,2)
sumario_pronto$`Desvio Padrão` <- round(sumario_pronto$`Desvio Padrão`,2)
arredondando <- function(dataframe, digitos = 2) {
dataframe_arredondado <- dataframe %>%
mutate_at(vars(-Variável), ~ round(., digitos))
return(dataframe_arredondado)
}
sumario_pronto <- arredondando(sumario_pronto, digitos = 2)
knitr::kable(sumario_pronto)
| Variável | Observações ausentes | Média | Desvio Padrão | Primeiro Quartil(25%) | Mediana | Terceiro Quartil(75%) |
|---|---|---|---|---|---|---|
| balance | 0 | 835.37 | 483.71 | 481.73 | 823.64 | 1166.31 |
| income | 0 | 33516.98 | 13336.64 | 21340.46 | 34552.64 | 43807.73 |
dados_default$default <- as.factor(dados_default$default)
dados_default$student <- as.factor(dados_default$student)
dados_default_fator <- skim(dados_default[,1:2])
names(dados_default_fator)[1:5] <- c("Variável", "Observações ausentes", "default Ordenados", "Categorias", "Contagem")
dados_default_fator$Variável = "Diagnosis"
knitr::kable(dados_default_fator)
| Variável | Observações ausentes | default Ordenados | Categorias | Contagem | factor.n_unique | factor.top_counts |
|---|---|---|---|---|---|---|
| Diagnosis | default | 0 | 1 | FALSE | 2 | No: 9667, Yes: 333 |
| Diagnosis | student | 0 | 1 | FALSE | 2 | No: 7056, Yes: 2944 |
O banco de dados não possui ausência de informações, entretanto há algumas observações com valores de 0 na variável balance. A maioria das observações são de não-estudantes e não ficam devendo no cartão de crédito após o recebimento do salário mensal. A variável de income é a que mais se aproxima de uma distribuição normal.
## [1] 31
## [1] 2202.462
Segundo os boxplots das variáveis balance e income, percebemos A presença de outliers na variável balance e 0 na variável income.
## [1] "=========================================================="
## [1] "Método = Boosting | Proporção do banco de treinamento = 0.1"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 8635 221
## Yes 65 79
##
## Accuracy : 0.9682
## 95% CI : (0.9644, 0.9717)
## No Information Rate : 0.9667
## P-Value [Acc > NIR] : 0.2149
##
## Kappa : 0.3416
##
## Mcnemar's Test P-Value : <0.0000000000000002
##
## Sensitivity : 0.9925
## Specificity : 0.2633
## Pos Pred Value : 0.9750
## Neg Pred Value : 0.5486
## Prevalence : 0.9667
## Detection Rate : 0.9594
## Detection Prevalence : 0.9840
## Balanced Accuracy : 0.6279
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.9682 | Erro de precisão = 0.0318"
## [1] "=========================================================="
## [1] "Método = Reglog | Proporção do banco de treinamento = 0.1"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 8651 190
## Yes 49 110
##
## Accuracy : 0.9734
## 95% CI : (0.9699, 0.9767)
## No Information Rate : 0.9667
## P-Value [Acc > NIR] : 0.0001215
##
## Kappa : 0.467
##
## Mcnemar's Test P-Value : < 0.00000000000000022
##
## Sensitivity : 0.9944
## Specificity : 0.3667
## Pos Pred Value : 0.9785
## Neg Pred Value : 0.6918
## Prevalence : 0.9667
## Detection Rate : 0.9612
## Detection Prevalence : 0.9823
## Balanced Accuracy : 0.6805
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.9734 | Erro de precisão = 0.0266"
## [1] "=========================================================="
## [1] "Método = NaiveBayes | Proporção do banco de treinamento = 0.1"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 8695 282
## Yes 5 18
##
## Accuracy : 0.9681
## 95% CI : (0.9643, 0.9716)
## No Information Rate : 0.9667
## P-Value [Acc > NIR] : 0.2327
##
## Kappa : 0.1072
##
## Mcnemar's Test P-Value : <0.0000000000000002
##
## Sensitivity : 0.9994
## Specificity : 0.0600
## Pos Pred Value : 0.9686
## Neg Pred Value : 0.7826
## Prevalence : 0.9667
## Detection Rate : 0.9661
## Detection Prevalence : 0.9974
## Balanced Accuracy : 0.5297
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.9681 | Erro de precisão = 0.0319"
## [1] "=========================================================="
## [1] "Método = Boosting | Proporção do banco de treinamento = 0.3"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 6699 137
## Yes 69 95
##
## Accuracy : 0.9706
## 95% CI : (0.9663, 0.9744)
## No Information Rate : 0.9669
## P-Value [Acc > NIR] : 0.04239
##
## Kappa : 0.4651
##
## Mcnemar's Test P-Value : 0.00000304
##
## Sensitivity : 0.9898
## Specificity : 0.4095
## Pos Pred Value : 0.9800
## Neg Pred Value : 0.5793
## Prevalence : 0.9669
## Detection Rate : 0.9570
## Detection Prevalence : 0.9766
## Balanced Accuracy : 0.6996
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.9706 | Erro de precisão = 0.0294"
## [1] "=========================================================="
## [1] "Método = Reglog | Proporção do banco de treinamento = 0.3"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 6724 144
## Yes 44 88
##
## Accuracy : 0.9731
## 95% CI : (0.9691, 0.9768)
## No Information Rate : 0.9669
## P-Value [Acc > NIR] : 0.001399
##
## Kappa : 0.4708
##
## Mcnemar's Test P-Value : 0.0000000000005187
##
## Sensitivity : 0.9935
## Specificity : 0.3793
## Pos Pred Value : 0.9790
## Neg Pred Value : 0.6667
## Prevalence : 0.9669
## Detection Rate : 0.9606
## Detection Prevalence : 0.9811
## Balanced Accuracy : 0.6864
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.9731 | Erro de precisão = 0.0269"
## [1] "=========================================================="
## [1] "Método = NaiveBayes | Proporção do banco de treinamento = 0.3"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 6716 157
## Yes 52 75
##
## Accuracy : 0.9701
## 95% CI : (0.9659, 0.974)
## No Information Rate : 0.9669
## P-Value [Acc > NIR] : 0.06474
##
## Kappa : 0.4038
##
## Mcnemar's Test P-Value : 0.00000000000063
##
## Sensitivity : 0.9923
## Specificity : 0.3233
## Pos Pred Value : 0.9772
## Neg Pred Value : 0.5906
## Prevalence : 0.9669
## Detection Rate : 0.9594
## Detection Prevalence : 0.9819
## Balanced Accuracy : 0.6578
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.9701 | Erro de precisão = 0.0299"
## [1] "=========================================================="
## [1] "Método = Boosting | Proporção do banco de treinamento = 0.5"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 4803 99
## Yes 39 59
##
## Accuracy : 0.9724
## 95% CI : (0.9675, 0.9768)
## No Information Rate : 0.9684
## P-Value [Acc > NIR] : 0.05517
##
## Kappa : 0.4476
##
## Mcnemar's Test P-Value : 0.0000005103
##
## Sensitivity : 0.9919
## Specificity : 0.3734
## Pos Pred Value : 0.9798
## Neg Pred Value : 0.6020
## Prevalence : 0.9684
## Detection Rate : 0.9606
## Detection Prevalence : 0.9804
## Balanced Accuracy : 0.6827
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.9724 | Erro de precisão = 0.0276"
## [1] "=========================================================="
## [1] "Método = Reglog | Proporção do banco de treinamento = 0.5"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 4816 105
## Yes 26 53
##
## Accuracy : 0.9738
## 95% CI : (0.969, 0.978)
## No Information Rate : 0.9684
## P-Value [Acc > NIR] : 0.0142
##
## Kappa : 0.4354
##
## Mcnemar's Test P-Value : 0.000000000009433
##
## Sensitivity : 0.9946
## Specificity : 0.3354
## Pos Pred Value : 0.9787
## Neg Pred Value : 0.6709
## Prevalence : 0.9684
## Detection Rate : 0.9632
## Detection Prevalence : 0.9842
## Balanced Accuracy : 0.6650
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.9738 | Erro de precisão = 0.0262"
## [1] "=========================================================="
## [1] "Método = NaiveBayes | Proporção do banco de treinamento = 0.5"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 4801 107
## Yes 41 51
##
## Accuracy : 0.9704
## 95% CI : (0.9653, 0.9749)
## No Information Rate : 0.9684
## P-Value [Acc > NIR] : 0.2228
##
## Kappa : 0.3939
##
## Mcnemar's Test P-Value : 0.00000009144
##
## Sensitivity : 0.9915
## Specificity : 0.3228
## Pos Pred Value : 0.9782
## Neg Pred Value : 0.5543
## Prevalence : 0.9684
## Detection Rate : 0.9602
## Detection Prevalence : 0.9816
## Balanced Accuracy : 0.6572
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.9704 | Erro de precisão = 0.0296"
## [1] "=========================================================="
## [1] "Método = Boosting | Proporção do banco de treinamento = 0.7"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 2888 57
## Yes 19 36
##
## Accuracy : 0.9747
## 95% CI : (0.9684, 0.98)
## No Information Rate : 0.969
## P-Value [Acc > NIR] : 0.03795
##
## Kappa : 0.4744
##
## Mcnemar's Test P-Value : 0.00002194
##
## Sensitivity : 0.9935
## Specificity : 0.3871
## Pos Pred Value : 0.9806
## Neg Pred Value : 0.6545
## Prevalence : 0.9690
## Detection Rate : 0.9627
## Detection Prevalence : 0.9817
## Balanced Accuracy : 0.6903
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.9747 | Erro de precisão = 0.0253"
## [1] "=========================================================="
## [1] "Método = Reglog | Proporção do banco de treinamento = 0.7"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 2896 61
## Yes 11 32
##
## Accuracy : 0.976
## 95% CI : (0.9699, 0.9812)
## No Information Rate : 0.969
## P-Value [Acc > NIR] : 0.01297
##
## Kappa : 0.46
##
## Mcnemar's Test P-Value : 0.000000007709
##
## Sensitivity : 0.9962
## Specificity : 0.3441
## Pos Pred Value : 0.9794
## Neg Pred Value : 0.7442
## Prevalence : 0.9690
## Detection Rate : 0.9653
## Detection Prevalence : 0.9857
## Balanced Accuracy : 0.6702
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.976 | Erro de precisão = 0.024"
## [1] "=========================================================="
## [1] "Método = NaiveBayes | Proporção do banco de treinamento = 0.7"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 2901 78
## Yes 6 15
##
## Accuracy : 0.972
## 95% CI : (0.9655, 0.9776)
## No Information Rate : 0.969
## P-Value [Acc > NIR] : 0.1861
##
## Kappa : 0.2546
##
## Mcnemar's Test P-Value : 0.000000000000009429
##
## Sensitivity : 0.9979
## Specificity : 0.1613
## Pos Pred Value : 0.9738
## Neg Pred Value : 0.7143
## Prevalence : 0.9690
## Detection Rate : 0.9670
## Detection Prevalence : 0.9930
## Balanced Accuracy : 0.5796
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.972 | Erro de precisão = 0.028"
## [1] "=========================================================="
## [1] "Método = Boosting | Proporção do banco de treinamento = 0.9"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 958 26
## Yes 6 10
##
## Accuracy : 0.968
## 95% CI : (0.9551, 0.978)
## No Information Rate : 0.964
## P-Value [Acc > NIR] : 0.2819837
##
## Kappa : 0.3707
##
## Mcnemar's Test P-Value : 0.0007829
##
## Sensitivity : 0.9938
## Specificity : 0.2778
## Pos Pred Value : 0.9736
## Neg Pred Value : 0.6250
## Prevalence : 0.9640
## Detection Rate : 0.9580
## Detection Prevalence : 0.9840
## Balanced Accuracy : 0.6358
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.968 | Erro de precisão = 0.032"
## [1] "=========================================================="
## [1] "Método = Reglog | Proporção do banco de treinamento = 0.9"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 958 27
## Yes 6 9
##
## Accuracy : 0.967
## 95% CI : (0.954, 0.9772)
## No Information Rate : 0.964
## P-Value [Acc > NIR] : 0.3436369
##
## Kappa : 0.3389
##
## Mcnemar's Test P-Value : 0.0004985
##
## Sensitivity : 0.9938
## Specificity : 0.2500
## Pos Pred Value : 0.9726
## Neg Pred Value : 0.6000
## Prevalence : 0.9640
## Detection Rate : 0.9580
## Detection Prevalence : 0.9850
## Balanced Accuracy : 0.6219
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.967 | Erro de precisão = 0.033"
## [1] "=========================================================="
## [1] "Método = NaiveBayes | Proporção do banco de treinamento = 0.9"
## Confusion Matrix and Statistics
##
## Reference
## Prediction No Yes
## No 962 33
## Yes 2 3
##
## Accuracy : 0.965
## 95% CI : (0.9517, 0.9755)
## No Information Rate : 0.964
## P-Value [Acc > NIR] : 0.4766
##
## Kappa : 0.1388
##
## Mcnemar's Test P-Value : 0.0000003959
##
## Sensitivity : 0.99793
## Specificity : 0.08333
## Pos Pred Value : 0.96683
## Neg Pred Value : 0.60000
## Prevalence : 0.96400
## Detection Rate : 0.96200
## Detection Prevalence : 0.99500
## Balanced Accuracy : 0.54063
##
## 'Positive' Class : No
##
## [1] "Acurácia = 0.965 | Erro de precisão = 0.035"
| Acurácia | Kappa | Método | Proporção Treino |
|---|---|---|---|
| 0.968 | 0.342 | Boosting | 0.1 |
| 0.973 | 0.467 | Reglog | 0.1 |
| 0.968 | 0.107 | NaiveBayes | 0.1 |
| 0.971 | 0.465 | Boosting | 0.3 |
| 0.973 | 0.471 | Reglog | 0.3 |
| 0.970 | 0.404 | NaiveBayes | 0.3 |
| 0.972 | 0.448 | Boosting | 0.5 |
| 0.974 | 0.435 | Reglog | 0.5 |
| 0.970 | 0.394 | NaiveBayes | 0.5 |
| 0.975 | 0.474 | Boosting | 0.7 |
| 0.976 | 0.460 | Reglog | 0.7 |
| 0.972 | 0.255 | NaiveBayes | 0.7 |
| 0.968 | 0.371 | Boosting | 0.9 |
| 0.967 | 0.339 | Reglog | 0.9 |
| 0.965 | 0.139 | NaiveBayes | 0.9 |
Com excessão do método de Naive Bayes, se apresentou como proporção do banco de treinamento mais interessante, o valor de 70% do banco de dados. A acurácia parece ser a mais alta quando utilizamos este valor. Entretanto, vamos checar também o Kappa para ver se o padrão permanece.
Em dois dos três métodos (Regressão Logística e Boosting ), o Kappa esteve ficou maior quando a proporção do banco de treinamento era de 30% em relação ao banco original.
Sim, há presença de outliers no banco especialmente na variável ‘balance’ analisando os boxplots construidos anteriormente.