El presente ejercicio se plantea ajustar un modelo que tenga el mejor performance con la muestra completa, con la finalidad de ser evaluado ante la muestra de Test correspondiente al examen final del curso.
Gráfica no. 1 (Logit simple glm(Loan.Status ~. ) para la respuesta
binaria en cada variable)
modelo_1 = glm(data = Train_intern_1,
formula = Loan.Status~., family = "binomial")
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
summary(modelo_1)
##
## Call:
## glm(formula = Loan.Status ~ ., family = "binomial", data = Train_intern_1)
##
## Deviance Residuals:
## Min 1Q Median 3Q Max
## -2.74031 0.01332 0.56494 0.65734 1.35260
##
## Coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) 6.986e-01 6.695e-01 1.043 0.296754
## TermShort Term 5.477e-01 3.887e-02 14.092 < 2e-16 ***
## Years.in.current.job1 year 2.439e-01 1.014e-01 2.406 0.016136 *
## Years.in.current.job10+ years 1.425e-01 7.312e-02 1.948 0.051387 .
## Years.in.current.job2 years 6.278e-02 8.851e-02 0.709 0.478142
## Years.in.current.job3 years 2.399e-01 9.114e-02 2.632 0.008486 **
## Years.in.current.job4 years 1.401e-01 9.740e-02 1.438 0.150409
## Years.in.current.job5 years 1.772e-01 9.676e-02 1.832 0.066968 .
## Years.in.current.job6 years 5.499e-02 9.897e-02 0.556 0.578514
## Years.in.current.job7 years 7.493e-02 1.002e-01 0.748 0.454590
## Years.in.current.job8 years 5.362e-02 1.063e-01 0.505 0.613858
## Years.in.current.job9 years 2.872e-01 1.140e-01 2.519 0.011759 *
## Years.in.current.jobn/a -1.130e-01 1.075e-01 -1.051 0.293154
## Home.OwnershipHome Mortgage 3.777e-01 6.427e-01 0.588 0.556741
## Home.OwnershipOwn Home 3.059e-01 6.443e-01 0.475 0.634933
## Home.OwnershipRent 1.258e-01 6.416e-01 0.196 0.844600
## Purposebuy a car 1.304e+00 2.457e-01 5.306 1.12e-07 ***
## Purposebuy house 4.367e-01 2.208e-01 1.978 0.047970 *
## Purposedebt consolidation 5.678e-01 1.258e-01 4.512 6.42e-06 ***
## Purposeeducational expenses 3.212e-01 5.358e-01 0.600 0.548809
## Purposehome improvements 7.001e-01 1.452e-01 4.823 1.42e-06 ***
## Purposemajor_purchase 1.411e-01 3.055e-01 0.462 0.644183
## Purposemedical bills 5.692e-01 1.969e-01 2.891 0.003845 **
## Purposemoving 2.910e-01 4.253e-01 0.684 0.493772
## Purposeother 6.291e-01 1.365e-01 4.608 4.06e-06 ***
## Purposerenewable_energy 1.149e+01 1.624e+02 0.071 0.943565
## Purposesmall_business -8.248e-01 3.043e-01 -2.711 0.006716 **
## Purposetake a trip 1.264e+00 3.783e-01 3.342 0.000833 ***
## Purposevacation 4.774e-01 4.442e-01 1.075 0.282564
## Purposewedding 2.664e-02 4.978e-01 0.054 0.957325
## Current.Loan.Amount 7.654e-08 1.588e-08 4.819 1.44e-06 ***
## Credit.Score -1.404e-03 1.556e-04 -9.024 < 2e-16 ***
## Annual.Income 2.973e-07 3.034e-08 9.797 < 2e-16 ***
## Monthly.Debt -1.143e-05 2.152e-06 -5.312 1.08e-07 ***
## Years.of.Credit.History 9.876e-03 2.849e-03 3.467 0.000527 ***
## Months.since.last.delinquent 1.630e-03 8.320e-04 1.959 0.050137 .
## Number.of.Open.Accounts -4.899e-03 3.935e-03 -1.245 0.213118
## Number.of.Credit.Problems -4.764e-02 3.358e-02 -1.419 0.155897
## Current.Credit.Balance -2.101e-07 1.146e-07 -1.834 0.066601 .
## Maximum.Open.Credit 9.703e-08 4.954e-08 1.959 0.050137 .
## Bankruptcies 6.023e-02 3.319e-02 1.815 0.069526 .
## Tax.Liens 2.102e-02 3.220e-02 0.653 0.513861
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## (Dispersion parameter for binomial family taken to be 1)
##
## Null deviance: 26060 on 25656 degrees of freedom
## Residual deviance: 19713 on 25615 degrees of freedom
## AIC: 19797
##
## Number of Fisher Scoring iterations: 11
Salida de consola y código no.1 (Ajuste del modelo no.1 )
modelo_1 = update(object = modelo_1, formula. = .~.-Home.Ownership -Number.of.Open.Accounts -Number.of.Credit.Problems -Current.Credit.Balance -Bankruptcies -Tax.Liens -Maximum.Open.Credit -Months.since.last.delinquent)
summary(modelo_1)
##
## Call:
## glm(formula = Loan.Status ~ Term + Years.in.current.job + Purpose +
## Current.Loan.Amount + Credit.Score + Annual.Income + Monthly.Debt +
## Years.of.Credit.History, family = "binomial", data = Train_intern_1)
##
## Deviance Residuals:
## Min 1Q Median 3Q Max
## -2.80066 0.01318 0.57548 0.65399 1.33969
##
## Coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) 9.327e-01 1.807e-01 5.160 2.47e-07 ***
## TermShort Term 5.258e-01 3.856e-02 13.638 < 2e-16 ***
## Years.in.current.job1 year 2.578e-01 1.012e-01 2.547 0.010859 *
## Years.in.current.job10+ years 1.944e-01 7.252e-02 2.681 0.007333 **
## Years.in.current.job2 years 7.007e-02 8.832e-02 0.793 0.427565
## Years.in.current.job3 years 2.604e-01 9.094e-02 2.863 0.004191 **
## Years.in.current.job4 years 1.642e-01 9.714e-02 1.690 0.091019 .
## Years.in.current.job5 years 2.033e-01 9.652e-02 2.107 0.035146 *
## Years.in.current.job6 years 9.666e-02 9.864e-02 0.980 0.327154
## Years.in.current.job7 years 1.088e-01 9.987e-02 1.090 0.275802
## Years.in.current.job8 years 1.001e-01 1.059e-01 0.945 0.344614
## Years.in.current.job9 years 3.325e-01 1.136e-01 2.927 0.003426 **
## Years.in.current.jobn/a -6.294e-02 1.069e-01 -0.589 0.556175
## Purposebuy a car 1.293e+00 2.453e-01 5.270 1.36e-07 ***
## Purposebuy house 3.710e-01 2.202e-01 1.684 0.092121 .
## Purposedebt consolidation 5.461e-01 1.255e-01 4.352 1.35e-05 ***
## Purposeeducational expenses 2.383e-01 5.345e-01 0.446 0.655754
## Purposehome improvements 7.671e-01 1.445e-01 5.309 1.10e-07 ***
## Purposemajor_purchase 1.569e-01 3.045e-01 0.515 0.606302
## Purposemedical bills 5.399e-01 1.966e-01 2.747 0.006020 **
## Purposemoving 1.902e-01 4.244e-01 0.448 0.654054
## Purposeother 5.935e-01 1.362e-01 4.359 1.31e-05 ***
## Purposerenewable_energy 1.157e+01 1.621e+02 0.071 0.943093
## Purposesmall_business -8.768e-01 3.032e-01 -2.892 0.003834 **
## Purposetake a trip 1.103e+00 3.212e-01 3.434 0.000595 ***
## Purposevacation 4.011e-01 4.435e-01 0.904 0.365762
## Purposewedding 5.791e-03 4.970e-01 0.012 0.990705
## Current.Loan.Amount 7.713e-08 1.632e-08 4.726 2.29e-06 ***
## Credit.Score -1.392e-03 1.515e-04 -9.183 < 2e-16 ***
## Annual.Income 3.147e-07 3.003e-08 10.480 < 2e-16 ***
## Monthly.Debt -1.244e-05 1.935e-06 -6.431 1.27e-10 ***
## Years.of.Credit.History 1.153e-02 2.809e-03 4.106 4.03e-05 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## (Dispersion parameter for binomial family taken to be 1)
##
## Null deviance: 26060 on 25656 degrees of freedom
## Residual deviance: 19764 on 25625 degrees of freedom
## AIC: 19828
##
## Number of Fisher Scoring iterations: 11
Salida de consola y código no.2 (Update al modelo no.1)
El modelo 1 tiene un AIC de 26’635, la version que contempla todos los predictores era de 26’577 ###### Anova del modelo
anova(modelo_1)
Salida de consola y código no.3 (ANOVA Modelo no. 1)
glmulti.logistic.out <-
glmulti(Loan.Status ~ Term + Years.in.current.job + Purpose +
Current.Loan.Amount + Credit.Score + Annual.Income + Monthly.Debt +
Years.of.Credit.History, data = Train_intern_1,
level = 1, # No interaction considered
method = "h", # Exhaustive approach
crit = "aic", # AIC as criteria
confsetsize = 5, # Keep 5 best models
plotty = F, report = F, # No plot or interim reports
fitfunction = "glm", # glm function
family = binomial) # binomial family for logistic regression
## Show 5 best models (Use @ instead of $ for an S4 object)
glmulti.logistic.out@formulas
## [[1]]
## Loan.Status ~ 1 + Term + Years.in.current.job + Purpose + Current.Loan.Amount +
## Credit.Score + Annual.Income + Monthly.Debt + Years.of.Credit.History
## <environment: 0x56229804ae80>
##
## [[2]]
## Loan.Status ~ 1 + Term + Purpose + Current.Loan.Amount + Credit.Score +
## Annual.Income + Monthly.Debt + Years.of.Credit.History
## <environment: 0x56229804ae80>
##
## [[3]]
## Loan.Status ~ 1 + Term + Years.in.current.job + Purpose + Current.Loan.Amount +
## Credit.Score + Annual.Income + Monthly.Debt
## <environment: 0x56229804ae80>
##
## [[4]]
## Loan.Status ~ 1 + Term + Purpose + Current.Loan.Amount + Credit.Score +
## Annual.Income + Monthly.Debt
## <environment: 0x56229804ae80>
##
## [[5]]
## Loan.Status ~ 1 + Term + Years.in.current.job + Purpose + Current.Loan.Amount +
## Credit.Score + Annual.Income + Years.of.Credit.History
## <environment: 0x56229804ae80>
Salida de consola y código no.4 (Selección de variables)-
De entrada, el mejor modelo por AIC que propone la funcion glmulti() es el mismo modelo de regresión logística que se le pasó por parametro, por lo que podemos hablar de que ese al momento es el modelo ideal, resaltando que tiene 9 features. Sin embargo en segundo y tercer lugar proponé modelos con 8 features, por lo que se evaluará contra validación cruzada la viabilidad de irnos por un modelo más ligero.
Elaborando modelos alternativos a modelo_1
modelo_1_1 = glm(data = Train_intern_1,
formula = Loan.Status~ Term + Years.in.current.job + Purpose + Current.Loan.Amount +
Credit.Score + Annual.Income + Monthly.Debt + Years.of.Credit.History, family = "binomial")
summary(modelo_1_1)
##
## Call:
## glm(formula = Loan.Status ~ Term + Years.in.current.job + Purpose +
## Current.Loan.Amount + Credit.Score + Annual.Income + Monthly.Debt +
## Years.of.Credit.History, family = "binomial", data = Train_intern_1)
##
## Deviance Residuals:
## Min 1Q Median 3Q Max
## -2.80066 0.01318 0.57548 0.65399 1.33969
##
## Coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) 9.327e-01 1.807e-01 5.160 2.47e-07 ***
## TermShort Term 5.258e-01 3.856e-02 13.638 < 2e-16 ***
## Years.in.current.job1 year 2.578e-01 1.012e-01 2.547 0.010859 *
## Years.in.current.job10+ years 1.944e-01 7.252e-02 2.681 0.007333 **
## Years.in.current.job2 years 7.007e-02 8.832e-02 0.793 0.427565
## Years.in.current.job3 years 2.604e-01 9.094e-02 2.863 0.004191 **
## Years.in.current.job4 years 1.642e-01 9.714e-02 1.690 0.091019 .
## Years.in.current.job5 years 2.033e-01 9.652e-02 2.107 0.035146 *
## Years.in.current.job6 years 9.666e-02 9.864e-02 0.980 0.327154
## Years.in.current.job7 years 1.088e-01 9.987e-02 1.090 0.275802
## Years.in.current.job8 years 1.001e-01 1.059e-01 0.945 0.344614
## Years.in.current.job9 years 3.325e-01 1.136e-01 2.927 0.003426 **
## Years.in.current.jobn/a -6.294e-02 1.069e-01 -0.589 0.556175
## Purposebuy a car 1.293e+00 2.453e-01 5.270 1.36e-07 ***
## Purposebuy house 3.710e-01 2.202e-01 1.684 0.092121 .
## Purposedebt consolidation 5.461e-01 1.255e-01 4.352 1.35e-05 ***
## Purposeeducational expenses 2.383e-01 5.345e-01 0.446 0.655754
## Purposehome improvements 7.671e-01 1.445e-01 5.309 1.10e-07 ***
## Purposemajor_purchase 1.569e-01 3.045e-01 0.515 0.606302
## Purposemedical bills 5.399e-01 1.966e-01 2.747 0.006020 **
## Purposemoving 1.902e-01 4.244e-01 0.448 0.654054
## Purposeother 5.935e-01 1.362e-01 4.359 1.31e-05 ***
## Purposerenewable_energy 1.157e+01 1.621e+02 0.071 0.943093
## Purposesmall_business -8.768e-01 3.032e-01 -2.892 0.003834 **
## Purposetake a trip 1.103e+00 3.212e-01 3.434 0.000595 ***
## Purposevacation 4.011e-01 4.435e-01 0.904 0.365762
## Purposewedding 5.791e-03 4.970e-01 0.012 0.990705
## Current.Loan.Amount 7.713e-08 1.632e-08 4.726 2.29e-06 ***
## Credit.Score -1.392e-03 1.515e-04 -9.183 < 2e-16 ***
## Annual.Income 3.147e-07 3.003e-08 10.480 < 2e-16 ***
## Monthly.Debt -1.244e-05 1.935e-06 -6.431 1.27e-10 ***
## Years.of.Credit.History 1.153e-02 2.809e-03 4.106 4.03e-05 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## (Dispersion parameter for binomial family taken to be 1)
##
## Null deviance: 26060 on 25656 degrees of freedom
## Residual deviance: 19764 on 25625 degrees of freedom
## AIC: 19828
##
## Number of Fisher Scoring iterations: 11
El modelo 1.1 tiene un AIC de 26637
Salida de consola y código no.5 (Ajustando modelo no. 1.1)-
anova(modelo_1_1)
Salida de consola y código no.6 (ANOVA modelo no. 1.1)-
modelo_1_2 = glm(data = Train_intern_1,
formula = Loan.Status~ Term + Purpose + Current.Loan.Amount + Credit.Score +
Annual.Income + Monthly.Debt + Years.of.Credit.History, family = "binomial")
summary(modelo_1_2)
##
## Call:
## glm(formula = Loan.Status ~ Term + Purpose + Current.Loan.Amount +
## Credit.Score + Annual.Income + Monthly.Debt + Years.of.Credit.History,
## family = "binomial", data = Train_intern_1)
##
## Deviance Residuals:
## Min 1Q Median 3Q Max
## -2.76338 0.01326 0.58050 0.65258 1.36745
##
## Coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) 1.089e+00 1.715e-01 6.347 2.20e-10 ***
## TermShort Term 5.224e-01 3.846e-02 13.583 < 2e-16 ***
## Purposebuy a car 1.298e+00 2.451e-01 5.298 1.17e-07 ***
## Purposebuy house 3.660e-01 2.198e-01 1.665 0.095886 .
## Purposedebt consolidation 5.511e-01 1.252e-01 4.402 1.07e-05 ***
## Purposeeducational expenses 2.556e-01 5.336e-01 0.479 0.631967
## Purposehome improvements 7.671e-01 1.441e-01 5.323 1.02e-07 ***
## Purposemajor_purchase 1.535e-01 3.039e-01 0.505 0.613459
## Purposemedical bills 5.288e-01 1.964e-01 2.693 0.007077 **
## Purposemoving 2.044e-01 4.242e-01 0.482 0.629861
## Purposeother 5.968e-01 1.359e-01 4.392 1.12e-05 ***
## Purposerenewable_energy 1.161e+01 1.620e+02 0.072 0.942844
## Purposesmall_business -8.453e-01 3.027e-01 -2.792 0.005238 **
## Purposetake a trip 1.116e+00 3.211e-01 3.476 0.000509 ***
## Purposevacation 4.055e-01 4.429e-01 0.916 0.359901
## Purposewedding -2.154e-02 4.969e-01 -0.043 0.965427
## Current.Loan.Amount 7.720e-08 1.640e-08 4.708 2.51e-06 ***
## Credit.Score -1.401e-03 1.564e-04 -8.956 < 2e-16 ***
## Annual.Income 3.205e-07 3.013e-08 10.636 < 2e-16 ***
## Monthly.Debt -1.192e-05 1.933e-06 -6.165 7.05e-10 ***
## Years.of.Credit.History 1.086e-02 2.734e-03 3.972 7.14e-05 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## (Dispersion parameter for binomial family taken to be 1)
##
## Null deviance: 26060 on 25656 degrees of freedom
## Residual deviance: 19790 on 25636 degrees of freedom
## AIC: 19832
##
## Number of Fisher Scoring iterations: 11
El modelo 1.2 tiene un AIC de 26’647
Salida de consola y código no.7 (Ajustando modelo no. 1.2)-
Del modelo base y los dos modelos que derivan de este, que además presentan la ventaja de contar con una feature menos, se evaluara cada uno por validación cruzada y por MSPR para solo quedarnos con el mejor.
MSE_kf_1 = cv.glm(data = Train_intern_1,
glmfit = modelo_1,
K = 50)
MSE_kf_1$delta
## [1] 0.1222039 0.1222002
Salida de consola y código no.8 (MSPR por K-Pliegues del modelo no. 1)-
Interpretando $delta:
El primer valor representa el error medio cuadrático promedio para los K pliegues (MSPR o Mean Squared Prediction Error), y el segundo valor representa la desviación estándar de los errores medios cuadráticos de los K pliegues.
MSE_kf_1_1 = cv.glm(data = Train_intern_1,
glmfit = modelo_1_1, K = 50)
MSE_kf_1_1$delta
## [1] 0.1222117 0.1222079
Salida de consola y código no.9 (MSE por K-Pliegues del modelo no. 1.1)-
MSE_kf_1_2 = cv.glm(data = Train_intern_1,
glmfit = modelo_1_2, K = 50)
MSE_kf_1_2$delta
## [1] 0.1222063 0.1222041
Salida de consola y código no. 10 (MSE por K-Pliegues del modelo no. 1.2)-
El MSPR y MSPR por corrección son practicamente los mismos, por los que requerimos evaluarlos en validación cruzada para quedarnos con el de mejor ajuste.
prediccion_1_0 = predict(object = modelo_1,
newdata = Test_intern_1, type = "response")
df_prediccion_1_0 <- data.frame(preds = prediccion_1_0)
dist_1_0 = ggplot(df_prediccion_1_0, aes(y="preds", x=prediccion_1_0))+
geom_jitter(alpha=0.5, color="greenyellow")+
geom_violin(alpha=0.5)+
geom_boxplot(width = 0.3, fill = "white", alpha = 0.5)+
scale_x_continuous(labels=c("0%", "25%", "50%", "75%", "100%"), name = "Respuesta")+
scale_y_discrete(labels=c(""), name=NULL)+
ggtitle("Predicciones para el conjunto Test en el modelo 1.1")+
theme_bw()
dist_1_0
Gráfica no. 2 (Distribución de la predicción para el modelo no 1)-
prediccion_1_0 = predict(object = modelo_1,
newdata = Test_intern_1, type = "response")
Sensibilidad_1_0 <- vector()
Corte_1_0 <- seq(0.05, 0.95, by = 0.001)
for (i in 1:length(Corte_1_0)) {
Prediccion <- as.factor(ifelse(prediccion_1_0 >= Corte_1_0[i], yes = 1, no = 0))
Sensibilidad_1_0[i] <- tryCatch(
{
confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status),
)$byClass[1]
},
error = function(e) {
0 # O cualquier valor predeterminado
}
)
}
df_sensibilidad = data.frame(corte= Corte_1_0, sensibilidad = Sensibilidad_1_0)
sens1_0 = ggplot(df_sensibilidad, aes(x=Corte_1_0, y=Sensibilidad_1_0))+
geom_line()+
geom_point(aes(x = Corte_1_0[which.max(Sensibilidad_1_0)], y = Sensibilidad_1_0[which.max(Sensibilidad_1_0)]),
shape = 21, size = 5, fill = "white", color = "blue") +
geom_text(aes(x = Corte_1_0[which.max(Sensibilidad_1_0)], y = Sensibilidad_1_0[which.max(Sensibilidad_1_0)] - 0.07, label = glue("Max \n{Corte_1_0[which.max(Sensibilidad_1_0)]}")),
hjust = 0.5) +
scale_y_continuous(breaks=c(0.25, 0.5, 0.75, 1), labels = c("25%", "50%", "75%", "100%"),
name = "Sensibilidad")+
scale_x_continuous("Punto de corte")+
ggtitle("Punto de corte ideal para máximizar la sensibilidad (modelo 1)")+
theme_bw()
sens1_0
Gráfica no. 3 (punto de corte ideal para maximizar la sensibilidad)-
prediccion_1_0 = predict(object = modelo_1,
newdata = Test_intern_1, type = "response")
Especificidad_1_0 <- vector()
Corte_1_0 <- seq(0.05, 0.95, by = 0.001)
for (i in 1:length(Corte_1_0)) {
Prediccion <- as.factor(ifelse(prediccion_1_0 >= Corte_1_0[i], yes = 1, no = 0))
Especificidad_1_0[i] <- tryCatch(
{
confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status))$byClass[2]
},
error = function(e) {
0 # O cualquier valor predeterminado
}
)
}
df_especificidad = data.frame(corte= Corte_1_0, especificidad = Especificidad_1_0)
espe1_0 = ggplot(df_especificidad, aes(x=Corte_1_0, y=Especificidad_1_0))+
geom_line()+
geom_point(aes(x = Corte_1_0[which.max(Especificidad_1_0)], y = Especificidad_1_0[which.max(Especificidad_1_0)]),
shape = 21, size = 5, fill = "white", color = "blue") +
geom_text(aes(x = Corte_1_0[which.max(Especificidad_1_0)], y = Especificidad_1_0[which.max(Especificidad_1_0)] - 0.03, label = glue("Max \n{Corte_1_0[which.max(Especificidad_1_0)]}")),
hjust = 0.5) +
scale_y_continuous(breaks=c(0.85, 0.90, 0.95, 1), labels = c("85%", "90%", "95%", "100%"),
name = "Especificidad")+
scale_x_continuous("Punto de corte")+
ggtitle("Punto de corte ideal para máximizar la especificidad (modelo 1.1)")+
theme_bw()
espe1_0
Gráfica no. 4 (punto de corte ideal para maximizar la especificidad)-
prediccion_1_0 = predict(object = modelo_1,
newdata = Test_intern_1, type = "response")
Exactitud_1_0 <- vector()
Corte_1_0 <- seq(0.05, 0.95, by = 0.001)
for (i in 1:length(Corte_1_0)) {
Prediccion <- as.factor(ifelse(prediccion_1_0 >= Corte_1_0[i], yes = 1, no = 0))
Exactitud_1_0[i] <- tryCatch(
{
confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status))$overall[1]
},
error = function(e) {
0 # O cualquier valor predeterminado
}
)
}
df_exactitud = data.frame(corte= Corte_1_0, exactitud = Exactitud_1_0)
exac1_0 = ggplot(df_especificidad, aes(x=Corte_1_0, y=Exactitud_1_0))+
geom_line()+
geom_point(aes(x = Corte_1_0[which.max(Exactitud_1_0)], y = Exactitud_1_0[which.max(Exactitud_1_0)]),
shape = 21, size = 5, fill = "white", color = "blue") +
geom_text(aes(x = Corte_1_0[which.max(Exactitud_1_0)], y = Exactitud_1_0[which.max(Exactitud_1_0)] - 0.06, label = glue("Max \n{Corte_1_0[which.max(Exactitud_1_0)]}")),
hjust = 0.5) +
scale_y_continuous(breaks=c(0.2, 0.4, 0.5, 0.6, 0.7, 0.8), labels = c("20%", "40%", "50%", "60%", "70%", "80%"),
name = "Exactitud")+
scale_x_continuous("Punto de corte")+
ggtitle("Punto de corte ideal para máximizar la exactitud (modelo 1)")+
theme_bw()
exac1_0
Gráfica no. 5 (punto de corte ideal para maximizar la exactitud
corte_optimo_1_0 = which(Exactitud_1_0==max(Exactitud_1_0))
Corte_1_0[corte_optimo_1_0][1]
## [1] 0.418
Corte_modelo_1 = Corte_1_0[corte_optimo_1_0][1]
Salida de consola y código no. 11 (Corte óptimo para máximizar la exactitud en modelo 1)-
Prediccion_1_0<-as.factor(ifelse(prediccion_1_0>=Corte_1_0[corte_optimo_1_0][1],yes = 1, no = 0))
confusionMatrix(data = Prediccion_1_0, reference = as.factor(Test_intern_1$Loan.Status))
## Confusion Matrix and Statistics
##
## Reference
## Prediction 0 1
## 0 197 0
## 1 617 3010
##
## Accuracy : 0.8387
## 95% CI : (0.8266, 0.8502)
## No Information Rate : 0.7871
## P-Value [Acc > NIR] : 5.384e-16
##
## Kappa : 0.3345
##
## Mcnemar's Test P-Value : < 2.2e-16
##
## Sensitivity : 0.24201
## Specificity : 1.00000
## Pos Pred Value : 1.00000
## Neg Pred Value : 0.82989
## Prevalence : 0.21287
## Detection Rate : 0.05152
## Detection Prevalence : 0.05152
## Balanced Accuracy : 0.62101
##
## 'Positive' Class : 0
##
cfmx1_0 = confusionMatrix(data = Prediccion_1_0, reference = as.factor(Test_intern_1$Loan.Status))
Salida de consola y código no. 12 (Matriz de confusión para el modelo no 1)-
mosaic(cfmx1_0$table, shade = T, colorize = T,
gp = gpar(fill = matrix(c("green3", "red2", "red2", "green3"), 2, 2)),
main = "Matriz de confusión (modelo 1)")
Salida de consola y código no. 13 (Matriz de confusión ilustrada para el
modelo no 1)-
##### Comparar modelo ya ajustado (no.1) con uno nuevo y muy simple
Prediccion_1_0_roc<-predict(object = modelo_1,
newdata = Test_intern_1, type = "response",
se.fit = T)
predicciones_roc_1_0=prediction(Prediccion_1_0_roc$fit,Test_intern_1$Loan.Status)
Desempeno_roc_1_0<-performance(predicciones_roc_1_0,'tpr','fpr')
## Cgenerando nuevo modelo simple
modelo_simple_prueba <- glm(data = Train_intern_1,
formula = Loan.Status~Purpose+Bankruptcies, family = "binomial")
Prediccion_1_prueba<-predict(object = modelo_simple_prueba,
newdata = Test_intern_1, type = "response",
se.fit = T)
predicciones1_prueba<-prediction(Prediccion_1_prueba$fit,Test_intern_1$Loan.Status)
Desempeno1_prueba<-performance(predicciones1_prueba,'tpr','fpr')
#ejecutar en conjunto
plot(Desempeno_roc_1_0,col="darkgreen")
plot(Desempeno1_prueba, col = "firebrick", add = T)
legend(x=.7, y=.4, legend = c("Simple","Completo"),
lwd = 2, col = c("red","darkgreen"),
title = "Modelos")
title("Curva ROC del modelo 1")
Gráfica no. 6 (Curva ROC modelo 1.1)-
## (Intercept) : 0.932680494203529
## TermShort Term : 0.525847910372681
## Years.in.current.job1 year : 0.257809162972053
## Years.in.current.job10+ years : 0.194437636647271
## Years.in.current.job2 years : 0.0700708648989517
## Years.in.current.job3 years : 0.260393401170943
## Years.in.current.job4 years : 0.164178781653995
## Years.in.current.job5 years : 0.203338860213015
## Years.in.current.job6 years : 0.0966554169988606
## Years.in.current.job7 years : 0.108837763080918
## Years.in.current.job8 years : 0.100051238598585
## Years.in.current.job9 years : 0.332473124912718
## Years.in.current.jobn/a : -0.0629410616041882
## Purposebuy a car : 1.29253415830096
## Purposebuy house : 0.370955418402984
## Purposedebt consolidation : 0.546111726406996
## Purposeeducational expenses : 0.238268471044301
## Purposehome improvements : 0.76714909052342
## Purposemajor_purchase : 0.156947515885097
## Purposemedical bills : 0.539930478171742
## Purposemoving : 0.190198398380081
## Purposeother : 0.593534070548838
## Purposerenewable_energy : 11.5722608209892
## Purposesmall_business : -0.876844485922435
## Purposetake a trip : 1.10308008256593
## Purposevacation : 0.401078663978513
## Purposewedding : 0.0057906552940641
## Current.Loan.Amount : 7.71294310199049e-08
## Credit.Score : -0.00139153622094078
## Annual.Income : 3.14734681529794e-07
## Monthly.Debt : -1.24436008609123e-05
## Years.of.Credit.History : 0.0115324775482946
Salida de consola y código no. 14 (Coeficientes modelo no 1)-
## Waiting for profiling to be done...
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## 2.5 % 97.5 %
## (Intercept) 5.902558e-01 1.304648e+00
## TermShort Term 4.502140e-01 6.013773e-01
## Years.in.current.job1 year 6.016562e-02 4.570848e-01
## Years.in.current.job10+ years 5.115355e-02 3.354917e-01
## Years.in.current.job2 years -1.032783e-01 2.430392e-01
## Years.in.current.job3 years 8.214852e-02 4.387430e-01
## Years.in.current.job4 years -2.584210e-02 3.551029e-01
## Years.in.current.job5 years 1.451537e-02 3.930144e-01
## Years.in.current.job6 years -9.623316e-02 2.905857e-01
## Years.in.current.job7 years -8.636576e-02 3.052729e-01
## Years.in.current.job8 years -1.064700e-01 3.087068e-01
## Years.in.current.job9 years 1.116072e-01 5.571911e-01
## Years.in.current.jobn/a -2.717537e-01 1.476466e-01
## Purposebuy a car 8.259166e-01 1.790840e+00
## Purposebuy house -5.481173e-02 8.102871e-01
## Purposedebt consolidation 2.957370e-01 7.882329e-01
## Purposeeducational expenses -7.496383e-01 1.390153e+00
## Purposehome improvements 4.812113e-01 1.048117e+00
## Purposemajor_purchase -4.249096e-01 7.748282e-01
## Purposemedical bills 1.579890e-01 9.297412e-01
## Purposemoving -6.014059e-01 1.083477e+00
## Purposeother 3.230997e-01 8.573826e-01
## Purposerenewable_energy -7.010964e+00 NA
## Purposesmall_business -1.469072e+00 -2.757549e-01
## Purposetake a trip 5.044983e-01 1.773110e+00
## Purposevacation -4.177967e-01 1.345907e+00
## Purposewedding -9.224643e-01 1.060594e+00
## Current.Loan.Amount 5.598691e-08 1.361246e-07
## Credit.Score -1.762949e-03 -1.153407e-03
## Annual.Income 2.567042e-07 3.747290e-07
## Monthly.Debt -1.623782e-05 -8.650545e-06
## Years.of.Credit.History 6.051163e-03 1.706198e-02
Salida de consola y código no. 15 (Intervalos de confianza para el modelo no 1)-
## (Intercept) : 2.5413120282048
## TermShort Term : 1.6918928138224
## Years.in.current.job1 year : 1.29409183441855
## Years.in.current.job10+ years : 1.21462773226534
## Years.in.current.job2 years : 1.07258418713115
## Years.in.current.job3 years : 1.29744040085301
## Years.in.current.job4 years : 1.17842497702742
## Years.in.current.job5 years : 1.22548766690823
## Years.in.current.job6 years : 1.10148075667516
## Years.in.current.job7 years : 1.11498144451265
## Years.in.current.job8 years : 1.10522754693547
## Years.in.current.job9 years : 1.39441242372575
## Years.in.current.jobn/a : 0.938998815142083
## Purposebuy a car : 3.6420042866203
## Purposebuy house : 1.44911846793098
## Purposedebt consolidation : 1.72652674120435
## Purposeeducational expenses : 1.2690498502331
## Purposehome improvements : 2.1536177243197
## Purposemajor_purchase : 1.16993420932807
## Purposemedical bills : 1.71588756639737
## Purposemoving : 1.20948953461931
## Purposeother : 1.81037511660618
## Purposerenewable_energy : 106113.103775792
## Purposesmall_business : 0.416093832224875
## Purposetake a trip : 3.013433368108
## Purposevacation : 1.49343474339794
## Purposewedding : 1.00580745354708
## Current.Loan.Amount : 1.00000007712943
## Credit.Score : 0.998609431516654
## Annual.Income : 1.00000031473473
## Monthly.Debt : 0.99998755647656
## Years.of.Credit.History : 1.01159923293903
Term adopta el valor Short,
este evento estara asociado con un aumento del 72.47% en las
probabilidades del pago al corriente (Fully Paid) comparado
con el evento cuando Term adopa el valor de
Long.Purpose adopta el
buy a car, este evento estara asociado con un aumento del
231% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de Business LoanPurpose adopta el
buy a house, este evento estara asociado con un aumento del
30% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de Business LoanPurpose adopta el valor
debt consolidation, este evento estara asociado con un
aumento del 59% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de Business LoanPurpose adopta el valor
educational expenses, este evento estara asociado con un
aumento del 58.8% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de Business LoanPurpose adopta el valor
house improvement, este evento estara asociado con un
aumento del 84.4% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de Business LoanPurpose adopta el valor
major_purchase, este evento estara asociado con un
decremento del 3% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de Business LoanPurpose adopta el valor
medical bills, este evento estara asociado con un aumento
del 53.5% en las probabilidades del pago al corriente
(Fully Paid)Purpose adopta el valor
moving, este evento estara asociado con un decremento del
8.1% en las probabilidades del pago al corriente
(Fully Paid)Purpose adopta el valor
other, este evento estara asociado con un aumento del 60%
en las probabilidades del pago al corriente (Fully Paid)
comparado con el evento cuando Purpose adopta el valor de
Business LoanPurpose adopta el valor
renewable_energy, este evento estara asociado con un
aumento muy exagerado en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de Business LoanPurpose adopta el valor
small_business, este evento estara asociado con una
disminución del 62% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de Business LoanPurpose adopta el valor
take a trip, este evento estara asociado con un aumento del
125% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de Business LoanPurpose adopta el valor
vacation, este evento estara asociado con un aumento del
20% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de Business LoanPurpose adopta el valor
wedding, este evento estara asociado con una disminución
del 3% en las probabilidades del pago al corriente
(Fully Paid). comparado con el evento cuando
Purpose adopta el valor de Business LoanCurrent.Loan.Amount aumenta en
10,000,000 unidades, este evento estara asociado con un aumento del
76.5% en las probabilidades del pago al corriente
(Fully Paid).Credit.Score aumenta en una 100
unidades, este evento estara asociado con una disminución del 13.74% en
las probabilidades del pago al corriente (Fully Paid).Annual.Income aumenta en 1,000,000
unidades, este evento estara asociado con un aumento del 34.4% en las
probabilidades del pago al corriente (Fully Paid).Monthly.Debt aumenta en 10,00 unidades,
este evento estara asociado con una disminución del 13.4% en las
probabilidades del pago al corriente (Fully Paid).Years.of.Credit.History aumenta en una
unidad, este evento estara asociado con un aumento del 0.93% en las
probabilidades del pago al corriente (Fully Paid).Gráfica no. 7 (VIF modelo 1)-
Empleamos como estadístico a evalua el % de aciertos (suma de verdaderos positivos y verdaderos negativos sobre el numero de observaciones en Train para este caso)
modelo.fun <- function(datos, subconjunto){
#Generamos un vector de Predicción para la probabilidad de fully charged (1) para un nuevo vector random [llamado predicciones], donde predeciremos con el modelo ajustado en Train_intern_1, y la nueva información nunca antes vista por el modelo vendra de Test_intern_1
predicciones<-predict(modelo_1, newdata = datos[subconjunto,])
#Con dicho vector [predicciones], separar por clases para fully paid (1) y charged off(0) para generar el nuevo vector [Prediccion]
Predicciones <- as.factor(ifelse(predicciones >= Corte_1_0[corte_optimo_1_0][1],
yes = 1, no = 0))
# Instanciamos la matriz de confusion para la variable de respuesta (loan.status) con el vector de probabilidades llamado predicciones
cfmtx = confusionMatrix(data = Predicciones, reference = as.factor(datos$Loan.Status))
# Generamos un promedio de el porcentaje de aciertos general
class_prop = (cfmtx$table[1] + cfmtx$table[4]) / length(datos$Loan.Status)
# Regresamos dicho promedio
return(class_prop)
}
Bootstrap<-boot(data = Test_intern_1,
statistic = modelo.fun,## <- el parámetro
#### statistic requiere una función que reciba dos
#### parámetros: la muestra y los índices
R = 10000) #10mil muestras simuladas
Bootstrap
##
## ORDINARY NONPARAMETRIC BOOTSTRAP
##
##
## Call:
## boot(data = Test_intern_1, statistic = modelo.fun, R = 10000)
##
##
## Bootstrap Statistics :
## original bias std. error
## t1* 0.8378661 -0.08137882 0.003654245
Salida de consola y código no. 17 (Bootstraping en el modelo no 1)-
mean = mean(Bootstrap$t[,1])
bootstrap_vector_modelo_1_0 = Bootstrap$t[,1]
hist(Bootstrap$t[,1], breaks = 100,
xlab = "% de aciertos",
main = "Bootstrap de la predicción para el modelo 1.1",
ylab = "Frecuencia")
abline(v = quantile(x = Bootstrap$t[,1], c(.025,.975)),col = "red")
abline(v = mean(Bootstrap$t[,1]), col = "darkgreen", lwd = 2)
text(x=.745, y=200, labels = glue("Promedio \n{round(mean, 4)}"))
Gráfica no. 8 (Bootstraping en el modelo 1)-
prediccion_1 = predict(object = modelo_1_1,
newdata = Test_intern_1, type = "response")
df_prediccion_1 <- data.frame(preds = prediccion_1)
dist_1 = ggplot(df_prediccion_1, aes(y="preds", x=prediccion_1))+
geom_jitter(alpha=0.5, color="greenyellow")+
geom_violin(alpha=0.5)+
geom_boxplot(width = 0.3, fill = "white", alpha = 0.5)+
scale_x_continuous(labels=c("0%", "25%", "50%", "75%", "100%"), name = "Respuesta")+
scale_y_discrete(labels=c(""), name=NULL)+
ggtitle("Predicciones para el conjunto Test en el modelo 1.1")+
theme_bw()
dist_1
Gráfica no. 9 (Distribución de la predicción para el modelo no 1.1)-
prediccion_1 = predict(object = modelo_1_1,
newdata = Test_intern_1, type = "response")
Sensibilidad_1 <- vector()
Corte_1 <- seq(0.05, 0.95, by = 0.001)
for (i in 1:length(Corte_1)) {
Prediccion <- as.factor(ifelse(prediccion_1 >= Corte_1[i], yes = 1, no = 0))
Sensibilidad_1[i] <- tryCatch(
{
confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status),
)$byClass[1]
},
error = function(e) {
0 # O cualquier valor predeterminado
}
)
}
df_sensibilidad = data.frame(corte= Corte_1, sensibilidad = Sensibilidad_1)
sens1 = ggplot(df_sensibilidad, aes(x=Corte_1, y=Sensibilidad_1))+
geom_line()+
geom_point(aes(x = Corte_1[which.max(Sensibilidad_1)], y = Sensibilidad_1[which.max(Sensibilidad_1)]),
shape = 21, size = 5, fill = "white", color = "blue") +
geom_text(aes(x = Corte_1[which.max(Sensibilidad_1)], y = Sensibilidad_1[which.max(Sensibilidad_1)] - 0.07, label = glue("Max \n{Corte_1[which.max(Sensibilidad_1)]}")),
hjust = 0.5) +
scale_y_continuous(breaks=c(0.25, 0.5, 0.75, 1), labels = c("25%", "50%", "75%", "100%"),
name = "Sensibilidad")+
scale_x_continuous("Punto de corte")+
ggtitle("Punto de corte ideal para máximizar la sensibilidad (modelo 1.1)")+
theme_bw()
sens1
Gráfica no. 10 (punto de corte ideal para maximizar la
sensibilidad)-
prediccion_1 = predict(object = modelo_1_1,
newdata = Test_intern_1, type = "response")
Especificidad_1 <- vector()
Corte_1 <- seq(0.05, 0.95, by = 0.001)
for (i in 1:length(Corte_1)) {
Prediccion <- as.factor(ifelse(prediccion_1 >= Corte_1[i], yes = 1, no = 0))
Especificidad_1[i] <- tryCatch(
{
confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status))$byClass[2]
},
error = function(e) {
0 # O cualquier valor predeterminado
}
)
}
df_especificidad = data.frame(corte= Corte_1, especificidad = Especificidad_1)
espe1 = ggplot(df_especificidad, aes(x=Corte_1, y=Especificidad_1))+
geom_line()+
geom_point(aes(x = Corte_1[which.max(Especificidad_1)], y = Especificidad_1[which.max(Especificidad_1)]),
shape = 21, size = 5, fill = "white", color = "blue") +
geom_text(aes(x = Corte_1[which.max(Especificidad_1)], y = Especificidad_1[which.max(Especificidad_1)] - 0.03, label = glue("Max \n{Corte_1[which.max(Especificidad_1)]}")),
hjust = 0.5) +
scale_y_continuous(breaks=c(0.85, 0.90, 0.95, 1), labels = c("85%", "90%", "95%", "100%"),
name = "Especificidad")+
scale_x_continuous("Punto de corte")+
ggtitle("Punto de corte ideal para máximizar la especificidad (modelo 1.1)")+
theme_bw()
espe1
Gráfica no. 11 (punto de corte ideal para maximizar la especificidad)-
prediccion_1 = predict(object = modelo_1_1,
newdata = Test_intern_1, type = "response")
Exactitud_1 <- vector()
Corte_1 <- seq(0.05, 0.95, by = 0.001)
for (i in 1:length(Corte_1)) {
Prediccion <- as.factor(ifelse(prediccion_1 >= Corte_1[i], yes = 1, no = 0))
Exactitud_1[i] <- tryCatch(
{
confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status))$overall[1]
},
error = function(e) {
0 # O cualquier valor predeterminado
}
)
}
df_exactitud = data.frame(corte= Corte_1, exactitud = Exactitud_1)
exac1 = ggplot(df_especificidad, aes(x=Corte_1, y=Exactitud_1))+
geom_line()+
geom_point(aes(x = Corte_1[which.max(Exactitud_1)], y = Exactitud_1[which.max(Exactitud_1)]),
shape = 21, size = 5, fill = "white", color = "blue") +
geom_text(aes(x = Corte_1[which.max(Exactitud_1)], y = Exactitud_1[which.max(Exactitud_1)] - 0.06, label = glue("Max \n{Corte_1[which.max(Exactitud_1)]}")),
hjust = 0.5) +
scale_y_continuous(breaks=c(0.2, 0.4, 0.5, 0.6, 0.7, 0.8), labels = c("20%", "40%", "50%", "60%", "70%", "80%"),
name = "Exactitud")+
scale_x_continuous("Punto de corte")+
ggtitle("Punto de corte ideal para máximizar la exactitud (modelo 1.1)")+
theme_bw()
exac1
Gráfica no. 12 (punto de corte ideal para maximizar la exactitud en modelo 1.1)
corte_optimo_1 = which(Exactitud_1==max(Exactitud_1))
Corte_1[corte_optimo_1][1]
## [1] 0.418
Corte_modelo_1_1 = Corte_1[corte_optimo_1][1]
Salida de consola y código no. 18 (Corte óptimo para máximizar la exactitud)-
Prediccion_1<-as.factor(ifelse(prediccion_1>=Corte_1[corte_optimo_1][1],yes = 1, no = 0))
confusionMatrix(data = Prediccion_1, reference = as.factor(Test_intern_1$Loan.Status))
## Confusion Matrix and Statistics
##
## Reference
## Prediction 0 1
## 0 197 0
## 1 617 3010
##
## Accuracy : 0.8387
## 95% CI : (0.8266, 0.8502)
## No Information Rate : 0.7871
## P-Value [Acc > NIR] : 5.384e-16
##
## Kappa : 0.3345
##
## Mcnemar's Test P-Value : < 2.2e-16
##
## Sensitivity : 0.24201
## Specificity : 1.00000
## Pos Pred Value : 1.00000
## Neg Pred Value : 0.82989
## Prevalence : 0.21287
## Detection Rate : 0.05152
## Detection Prevalence : 0.05152
## Balanced Accuracy : 0.62101
##
## 'Positive' Class : 0
##
cfmx1 = confusionMatrix(data = Prediccion_1, reference = as.factor(Test_intern_1$Loan.Status))
Salida de consola y código no. 19 (Matriz de confusión para el modelo no 1.1)-
mosaic(cfmx1$table, shade = T, colorize = T,
gp = gpar(fill = matrix(c("green3", "red2", "red2", "green3"), 2, 2)),
main = "Matriz de confusión (modelo 1.1)")
Salida de consola y código no. 13 (Matriz de confusión ilustrada para el
modelo no 1.1)-
##### Comparar modelo ya ajustado (no.1) con uno nuevo y muy simple
Prediccion_1_roc<-predict(object = modelo_1_1,
newdata = Test_intern_1, type = "response",
se.fit = T)
predicciones_roc_1=prediction(Prediccion_1_roc$fit,Test_intern_1$Loan.Status)
Desempeno_roc_1<-performance(predicciones_roc_1,'tpr','fpr')
#ejecutar en conjunto
plot(Desempeno_roc_1,col="darkgreen")
plot(Desempeno1_prueba, col = "firebrick", add = T)
legend(x=.7, y=.4, legend = c("Simple","Completo"),
lwd = 2, col = c("red","darkgreen"),
title = "Modelos")
title("Curva ROC del modelo 1.1")
Gráfica no. 14 (Curva ROC modelo 1.1)-
## (Intercept) : 0.932680494203529
## TermShort Term : 0.525847910372681
## Years.in.current.job1 year : 0.257809162972053
## Years.in.current.job10+ years : 0.194437636647271
## Years.in.current.job2 years : 0.0700708648989517
## Years.in.current.job3 years : 0.260393401170943
## Years.in.current.job4 years : 0.164178781653995
## Years.in.current.job5 years : 0.203338860213015
## Years.in.current.job6 years : 0.0966554169988606
## Years.in.current.job7 years : 0.108837763080918
## Years.in.current.job8 years : 0.100051238598585
## Years.in.current.job9 years : 0.332473124912718
## Years.in.current.jobn/a : -0.0629410616041882
## Purposebuy a car : 1.29253415830096
## Purposebuy house : 0.370955418402984
## Purposedebt consolidation : 0.546111726406996
## Purposeeducational expenses : 0.238268471044301
## Purposehome improvements : 0.76714909052342
## Purposemajor_purchase : 0.156947515885097
## Purposemedical bills : 0.539930478171742
## Purposemoving : 0.190198398380081
## Purposeother : 0.593534070548838
## Purposerenewable_energy : 11.5722608209892
## Purposesmall_business : -0.876844485922435
## Purposetake a trip : 1.10308008256593
## Purposevacation : 0.401078663978513
## Purposewedding : 0.0057906552940641
## Current.Loan.Amount : 7.71294310199049e-08
## Credit.Score : -0.00139153622094078
## Annual.Income : 3.14734681529794e-07
## Monthly.Debt : -1.24436008609123e-05
## Years.of.Credit.History : 0.0115324775482946
Salida de consola y código no. 20 (Coeficientes modelo no 1.2)-
## Waiting for profiling to be done...
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
## 2.5 % 97.5 %
## (Intercept) 5.902558e-01 1.304648e+00
## TermShort Term 4.502140e-01 6.013773e-01
## Years.in.current.job1 year 6.016562e-02 4.570848e-01
## Years.in.current.job10+ years 5.115355e-02 3.354917e-01
## Years.in.current.job2 years -1.032783e-01 2.430392e-01
## Years.in.current.job3 years 8.214852e-02 4.387430e-01
## Years.in.current.job4 years -2.584210e-02 3.551029e-01
## Years.in.current.job5 years 1.451537e-02 3.930144e-01
## Years.in.current.job6 years -9.623316e-02 2.905857e-01
## Years.in.current.job7 years -8.636576e-02 3.052729e-01
## Years.in.current.job8 years -1.064700e-01 3.087068e-01
## Years.in.current.job9 years 1.116072e-01 5.571911e-01
## Years.in.current.jobn/a -2.717537e-01 1.476466e-01
## Purposebuy a car 8.259166e-01 1.790840e+00
## Purposebuy house -5.481173e-02 8.102871e-01
## Purposedebt consolidation 2.957370e-01 7.882329e-01
## Purposeeducational expenses -7.496383e-01 1.390153e+00
## Purposehome improvements 4.812113e-01 1.048117e+00
## Purposemajor_purchase -4.249096e-01 7.748282e-01
## Purposemedical bills 1.579890e-01 9.297412e-01
## Purposemoving -6.014059e-01 1.083477e+00
## Purposeother 3.230997e-01 8.573826e-01
## Purposerenewable_energy -7.010964e+00 NA
## Purposesmall_business -1.469072e+00 -2.757549e-01
## Purposetake a trip 5.044983e-01 1.773110e+00
## Purposevacation -4.177967e-01 1.345907e+00
## Purposewedding -9.224643e-01 1.060594e+00
## Current.Loan.Amount 5.598691e-08 1.361246e-07
## Credit.Score -1.762949e-03 -1.153407e-03
## Annual.Income 2.567042e-07 3.747290e-07
## Monthly.Debt -1.623782e-05 -8.650545e-06
## Years.of.Credit.History 6.051163e-03 1.706198e-02
Salida de consola y código no. 51 (Intervalos de confianza para el modelo no 1.2)-
## (Intercept) : 2.5413120282048
## TermShort Term : 1.6918928138224
## Years.in.current.job1 year : 1.29409183441855
## Years.in.current.job10+ years : 1.21462773226534
## Years.in.current.job2 years : 1.07258418713115
## Years.in.current.job3 years : 1.29744040085301
## Years.in.current.job4 years : 1.17842497702742
## Years.in.current.job5 years : 1.22548766690823
## Years.in.current.job6 years : 1.10148075667516
## Years.in.current.job7 years : 1.11498144451265
## Years.in.current.job8 years : 1.10522754693547
## Years.in.current.job9 years : 1.39441242372575
## Years.in.current.jobn/a : 0.938998815142083
## Purposebuy a car : 3.6420042866203
## Purposebuy house : 1.44911846793098
## Purposedebt consolidation : 1.72652674120435
## Purposeeducational expenses : 1.2690498502331
## Purposehome improvements : 2.1536177243197
## Purposemajor_purchase : 1.16993420932807
## Purposemedical bills : 1.71588756639737
## Purposemoving : 1.20948953461931
## Purposeother : 1.81037511660618
## Purposerenewable_energy : 106113.103775792
## Purposesmall_business : 0.416093832224875
## Purposetake a trip : 3.013433368108
## Purposevacation : 1.49343474339794
## Purposewedding : 1.00580745354708
## Current.Loan.Amount : 1.00000007712943
## Credit.Score : 0.998609431516654
## Annual.Income : 1.00000031473473
## Monthly.Debt : 0.99998755647656
## Years.of.Credit.History : 1.01159923293903
Salida de consola y código no. 22 (Odds ratios para el modelo no 1.1)-
Si la variable Term adopta el valor
Short, este evento estara asociado con un aumento del 72.6%
en las probabilidades del pago al corriente (Fully Paid)
comparado con el evento cuando Term adopa el valor de
Long.
Si la variable Years.in.current.job adopta el
1 year, este evento estara asociado con un aumento del
22.4% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Years.in.current.job adopta el valor de
< 1 year
Si la variable Years.in.current.job adopta el
10+ years, este evento estara asociado con un aumento del
19.4% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Years.in.current.job adopta el valor de
< 1 year
Si la variable Years.in.current.job adopta el
2 years, este evento estara asociado con un aumento del
1.6% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Years.in.current.job adopta el valor de
< 1 year
Si la variable Years.in.current.job adopta el
3 years, este evento estara asociado con un aumento del
26.7% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Years.in.current.job adopta el valor de
< 1 year
Si la variable Years.in.current.job adopta el
4 years, este evento estara asociado con un aumento del
23.7% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Years.in.current.job adopta el valor de
< 1 year
Si la variable Years.in.current.job adopta el
5 years, este evento estara asociado con un aumento del
25.1% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Years.in.current.job adopta el valor de
< 1 year
Si la variable Years.in.current.job adopta el
6 year, este evento estara asociado con un aumento del 4%
en las probabilidades del pago al corriente (Fully Paid)
comparado con el evento cuando Years.in.current.job adopta
el valor de < 1 year
Si la variable Years.in.current.job adopta el
7 year, este evento estara asociado con un aumento del 7%
en las probabilidades del pago al corriente (Fully Paid)
comparado con el evento cuando Years.in.current.job adopta
el valor de < 1 year
Si la variable Years.in.current.job adopta el
8 year, este evento estara asociado con un aumento del 11%
en las probabilidades del pago al corriente (Fully Paid)
comparado con el evento cuando Years.in.current.job adopta
el valor de < 1 year
Si la variable Years.in.current.job adopta el
9 year, este evento estara asociado con un aumento del
26.5% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Years.in.current.job adopta el valor de
< 1 year
Si la variable Years.in.current.job adopta el
n/a, este evento estara asociado con un decre,emtp del 5.9%
en las probabilidades del pago al corriente (Fully Paid)
comparado con el evento cuando Years.in.current.job adopta
el valor de < 1 year
Si la variable Purpose adopta el
buy a car, este evento estara asociado con un aumento del
231% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de
Business Loan
Si la variable Purpose adopta el
buy a house, este evento estara asociado con un aumento del
30% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de
Business Loan
Si la variable Purpose adopta el valor
debt consolidation, este evento estara asociado con un
aumento del 59% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de
Business Loan
Si la variable Purpose adopta el valor
educational expenses, este evento estara asociado con un
aumento del 58.8% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de
Business Loan
Si la variable Purpose adopta el valor
house improvement, este evento estara asociado con un
aumento del 84.4% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de
Business Loan
Si la variable Purpose adopta el valor
major_purchase, este evento estara asociado con un
decremento del 2.5% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de
Business Loan
Si la variable Purpose adopta el valor
medical bills, este evento estara asociado con un aumento
del 52.7% en las probabilidades del pago al corriente
(Fully Paid)
Si la variable Purpose adopta el valor
moving, este evento estara asociado con un decremento del
8% en las probabilidades del pago al corriente
(Fully Paid)
Si la variable Purpose adopta el valor
other, este evento estara asociado con un aumento del 60%
en las probabilidades del pago al corriente (Fully Paid)
comparado con el evento cuando Purpose adopta el valor de
Business Loan
Si la variable Purpose adopta el valor
renewable_energy, este evento estara asociado con un
aumento muy exagerado en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de
Business Loan
Si la variable Purpose adopta el valor
small_business, este evento estara asociado con una
disminución del 62% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de
Business Loan
Si la variable Purpose adopta el valor
take a trip, este evento estara asociado con un aumento del
125% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de
Business Loan
Si la variable Purpose adopta el valor
vacation, este evento estara asociado con un aumento del
21% en las probabilidades del pago al corriente
(Fully Paid) comparado con el evento cuando
Purpose adopta el valor de
Business Loan
Si la variable Purpose adopta el valor
wedding, este evento estara asociado con una disminución
del 2% en las probabilidades del pago al corriente
(Fully Paid). comparado con el evento cuando
Purpose adopta el valor de
Business Loan
Si la variable Current.Loan.Amount aumenta en
10,000,000 unidades, este evento estara asociado con un aumento del
76.5% en las probabilidades del pago al corriente
(Fully Paid).
Si la variable Credit.Score aumenta en una 100
unidades, este evento estara asociado con una disminución del 13.74% en
las probabilidades del pago al corriente
(Fully Paid).
Si la variable Annual.Income aumenta en 1,000,000
unidades, este evento estara asociado con un aumento del 34.4% en las
probabilidades del pago al corriente (Fully Paid).
Si la variable Monthly.Debt aumenta en 10,00
unidades, este evento estara asociado con una disminución del 13.4% en
las probabilidades del pago al corriente
(Fully Paid).
Si la variable Years.of.Credit.History aumenta en
una unidad, este evento estara asociado con un aumento del 0.93% en las
probabilidades del pago al corriente (Fully Paid).
Gráfica no. 15 (VIF modelo 1.1)-
Empleamos como estadístico a evalua el % de aciertos (suma de verdaderos positivos y verdaderos negativos sobre el numero de observaciones en Train para este caso)
modelo.fun <- function(datos, subconjunto){
#Generamos un vector de Predicción para la probabilidad de fully charged (1) para un nuevo vector random [llamado predicciones], donde predeciremos con el modelo ajustado en Train_intern_1, y la nueva información nunca antes vista por el modelo vendra de Test_intern_1
predicciones<-predict(modelo_1_1, newdata = datos[subconjunto,])
#Con dicho vector [predicciones], separar por clases para fully paid (1) y charged off(0) para generar el nuevo vector [Prediccion]
Predicciones <- as.factor(ifelse(predicciones >= Corte_1[corte_optimo_1][1],
yes = 1, no = 0))
# Instanciamos la matriz de confusion para la variable de respuesta (loan.status) con el vector de probabilidades llamado predicciones
cfmtx = confusionMatrix(data = Predicciones, reference = as.factor(datos$Loan.Status))
# Generamos un promedio de el porcentaje de aciertos general
class_prop = (cfmtx$table[1] + cfmtx$table[4]) / length(datos$Loan.Status)
# Regresamos dicho promedio
return(class_prop)
}
Bootstrap<-boot(data = Test_intern_1,
statistic = modelo.fun,## <- el parámetro
#### statistic requiere una función que reciba dos
#### parámetros: la muestra y los índices
R = 10000) #10mil muestras simuladas
Bootstrap
##
## ORDINARY NONPARAMETRIC BOOTSTRAP
##
##
## Call:
## boot(data = Test_intern_1, statistic = modelo.fun, R = 10000)
##
##
## Bootstrap Statistics :
## original bias std. error
## t1* 0.8378661 -0.08133271 0.003659999
Salida de consola y código no. 23 (Bootstraping en el modelo no 1.1)-
mean = mean(Bootstrap$t[,1])
bootstrap_vector_modelo_1_1 = Bootstrap$t[,1]
hist(Bootstrap$t[,1], breaks = 100,
xlab = "% de aciertos",
main = "Bootstrap de la predicción para el modelo 1.1",
ylab = "Frecuencia")
abline(v = quantile(x = Bootstrap$t[,1], c(.025,.975)),col = "red")
abline(v = mean(Bootstrap$t[,1]), col = "darkgreen", lwd = 2)
text(x=.745, y=200, labels = glue("Promedio \n{round(mean, 4)}"))
Gráfica no. 16 (Bootstraping en el modelo 1.1)-
prediccion_2 = predict(object = modelo_1_2,
newdata = Test_intern_1, type = "response")
df_prediccion_2 <- data.frame(preds = prediccion_2)
dist2 = ggplot(df_prediccion_2, aes(y="preds", x=prediccion_2))+
geom_jitter(alpha=0.5, color="greenyellow")+
geom_violin(alpha=0.5)+
geom_boxplot(width = 0.3, fill = "white", alpha = 0.5)+
scale_x_continuous(labels=c("0%", "25%", "50%", "75%", "100%"), name = "Respuesta")+
scale_y_discrete(labels=c(""), name=NULL)+
ggtitle("Predicciones del modelo 1.2 para el conjunto Test")+
theme_bw()
dist2
Gráfica no. 16 (Distribución de la predicción para el modelo no 1.3)-
prediccion_2 = predict(object = modelo_1_2,
newdata = Test_intern_1, type = "response")
Sensibilidad_2 <- vector()
Corte_1 <- seq(0.05, 0.95, by = 0.001)
for (i in 1:length(Corte_1)) {
Prediccion <- as.factor(ifelse(prediccion_2 >= Corte_1[i], yes = 1, no = 0))
Sensibilidad_2[i] <- tryCatch(
{
confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status))$byClass[1]
},
error = function(e) {
0 # O cualquier valor predeterminado
}
)
}
df_sensibilidad = data.frame(corte= Corte_1, sensibilidad = Sensibilidad_2)
sens2 = ggplot(df_sensibilidad, aes(x=Corte_1, y=Sensibilidad_2))+
geom_line()+
geom_point(aes(x = Corte_1[which.max(Sensibilidad_2)], y = Sensibilidad_2[which.max(Sensibilidad_2)]),
shape = 21, size = 5, fill = "white", color = "blue") +
geom_text(aes(x = Corte_1[which.max(Sensibilidad_2)], y = Sensibilidad_2[which.max(Sensibilidad_2)] - 0.07, label = glue("Max \n{Corte_1[which.max(Sensibilidad_2)]}")),
hjust = 0.5) +
scale_y_continuous(breaks=c(0.25, 0.5, 0.75, 1), labels = c("25%", "50%", "75%", "100%"),
name = "Sensibilidad")+
scale_x_continuous("Punto de corte")+
ggtitle("Punto de corte ideal para máximizar la sensibilidad (modelo 1.2)")+
theme_bw()
sens2
Gráfica no. 17 (punto de corte ideal para maximizar la sensibilidad (vs Test) en modelo no 1.2)-
prediccion_2 = predict(object = modelo_1_2,
newdata = Test_intern_1, type = "response")
Especificidad_2 <- vector()
Corte_1 <- seq(0.05, 0.95, by = 0.001)
for (i in 1:length(Corte_1)) {
Prediccion <- as.factor(ifelse(prediccion_2 >= Corte_1[i], yes = 1, no = 0))
Especificidad_2[i] <- tryCatch(
{
# confusionMatrix(reference = as.factor(Test_intern_1$Loan.Status), Prediccion)$overall[1]
confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status))$byClass[2]
},
error = function(e) {
0 # O cualquier valor predeterminado
}
)
}
df_especificidad = data.frame(corte= Corte_1, especificidad = Especificidad_2)
espe2 = ggplot(df_especificidad, aes(x=Corte_1, y=Especificidad_2))+
geom_line()+
geom_point(aes(x = Corte_1[which.max(Especificidad_2)], y = Especificidad_2[which.max(Especificidad_2)]),
shape = 21, size = 5, fill = "white", color = "blue") +
geom_text(aes(x = Corte_1[which.max(Especificidad_2)], y = Especificidad_2[which.max(Especificidad_2)] - 0.03, label = glue("Max \n{Corte_1[which.max(Especificidad_2)]}")),
hjust = 0.5) +
scale_y_continuous(breaks=c(0.85, 0.90, 0.95, 1), labels = c("85%", "90%", "95%", "100%"),
name = "Especificidad")+
scale_x_continuous("Punto de corte")+
ggtitle("Punto corte ideal para máximizar la especificidad (modelo 1.2)")+
theme_bw()
espe2
Gráfica no. 18 (punto de corte ideal para maximizar la especificidad (vs
Test) en modelo no 1.2)-
prediccion_2 = predict(object = modelo_1_2,
newdata = Test_intern_1, type = "response")
Exactitud_2 <- vector()
Corte_1 <- seq(0.05, 0.95, by = 0.001)
for (i in 1:length(Corte_1)) {
Prediccion <- as.factor(ifelse(prediccion_2 >= Corte_1[i], yes = 1, no = 0))
Exactitud_2[i] <- tryCatch(
{
confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status))$overall[1]
},
error = function(e) {
0 # O cualquier valor predeterminado
}
)
}
df_exactitud = data.frame(corte= Corte_1, exactitud = Exactitud_2)
exac2 = ggplot(df_especificidad, aes(x=Corte_1, y=Exactitud_2))+
geom_line()+
geom_point(aes(x = Corte_1[which.max(Exactitud_2)], y = Exactitud_2[which.max(Exactitud_2)]),
shape = 21, size = 5, fill = "white", color = "blue") +
geom_text(aes(x = Corte_1[which.max(Exactitud_2)], y = Exactitud_2[which.max(Exactitud_2)] - 0.05, label = glue("Max \n{Corte_1[which.max(Exactitud_2)]}")),
hjust = 0.5) +
scale_y_continuous(breaks=c(0.2, 0.4, 0.5, 0.6, 0.7, 0.8), labels = c("20%", "40%", "50%", "60%", "70%", "80%"),
name = "Exactitud")+
scale_x_continuous("Punto de corte")+
ggtitle("Punto de corte ideal para máximizar la exactitud (modelo 1.2)")+
theme_bw()
exac2
Gráfica no. 19 (punto de corte ideal para maximizar la exactitud (vs Test) en modelo no 1.2)-
corte_optimo_1 = which(Exactitud_2==max(Exactitud_2))
Corte_1[corte_optimo_1][1]
## [1] 0.561
Corte_modelo_1_2 = Corte_1[corte_optimo_1][1]
Salida de consola y código no. 18 (Corte ótimo para máximizar la exactitud en modelo no 1.2)-
Prediccion_2<-as.factor(ifelse(prediccion_2>=Corte_1[corte_optimo_1][1],yes = 1, no = 0))
confusionMatrix(data = Prediccion_2, reference = as.factor(Test_intern_1$Loan.Status))
## Confusion Matrix and Statistics
##
## Reference
## Prediction 0 1
## 0 198 0
## 1 616 3010
##
## Accuracy : 0.8389
## 95% CI : (0.8269, 0.8504)
## No Information Rate : 0.7871
## P-Value [Acc > NIR] : 3.812e-16
##
## Kappa : 0.336
##
## Mcnemar's Test P-Value : < 2.2e-16
##
## Sensitivity : 0.24324
## Specificity : 1.00000
## Pos Pred Value : 1.00000
## Neg Pred Value : 0.83012
## Prevalence : 0.21287
## Detection Rate : 0.05178
## Detection Prevalence : 0.05178
## Balanced Accuracy : 0.62162
##
## 'Positive' Class : 0
##
cfmx2 = confusionMatrix(data = Prediccion_2, reference = as.factor(Test_intern_1$Loan.Status))
Salida de consola y código no. 24 (Matriz de confusión para el modelo no 1.3)-
mosaic(cfmx2$table, shade = T, colorize = T,
gp = gpar(fill = matrix(c("green3", "red2", "red2", "green3"), 2, 2)),
main = "Matriz de confusión (modelo 1.2)")
Salida de consola y código no. 25 (Matriz de confusión ilustrada para el
modelo no 1.2)-
##### Comparar modelo ya ajustado (no.1) con uno nuevo y muy simple
Prediccion_2_roc<-predict(object = modelo_1_2,
newdata = Test_intern_1, type = "response",
se.fit = T)
predicciones_roc_2=prediction(Prediccion_2_roc$fit,Test_intern_1$Loan.Status)
Desempeno_roc_2<-performance(predicciones_roc_2,'tpr','fpr')
#ejecutar en conjunto
plot(Desempeno_roc_2,col="darkgreen")
plot(Desempeno1_prueba, col = "firebrick", add = T)
legend(x=.7, y=.4, legend = c("Simple","Completo"),
lwd = 2, col = c("red","darkgreen"),
title = "Modelos")
title("Curva ROC del modelo 1.2")
Gráfica no. 20 (Curva ROC modelo 1.2)-
## (Intercept) : 1.08864909248803
## TermShort Term : 0.522359281512402
## Purposebuy a car : 1.29843735521927
## Purposebuy house : 0.366029442002563
## Purposedebt consolidation : 0.551119703399264
## Purposeeducational expenses : 0.255561570530467
## Purposehome improvements : 0.767145461748545
## Purposemajor_purchase : 0.153513756886289
## Purposemedical bills : 0.528832177572354
## Purposemoving : 0.204425860591488
## Purposeother : 0.596784333954978
## Purposerenewable_energy : 11.6112433564853
## Purposesmall_business : -0.845253435346872
## Purposetake a trip : 1.1160130300174
## Purposevacation : 0.405453168065951
## Purposewedding : -0.0215397509079245
## Current.Loan.Amount : 7.72002975770808e-08
## Credit.Score : -0.00140079936974011
## Annual.Income : 3.20511308856137e-07
## Monthly.Debt : -1.19191580971957e-05
## Years.of.Credit.History : 0.0108585607293768
Salida de consola y código no. 26 (Coeficientes modelo no 1.2)-
## Waiting for profiling to be done...
## 2.5 % 97.5 %
## (Intercept) 7.661446e-01 1.444646e+00
## TermShort Term 4.469241e-01 5.976942e-01
## Purposebuy a car 8.322079e-01 1.796408e+00
## Purposebuy house -5.889935e-02 8.045572e-01
## Purposedebt consolidation 3.012867e-01 7.926638e-01
## Purposeeducational expenses -7.302749e-01 1.406023e+00
## Purposehome improvements 4.819057e-01 1.047391e+00
## Purposemajor_purchase -4.270659e-01 7.702041e-01
## Purposemedical bills 1.473224e-01 9.182276e-01
## Purposemoving -5.866461e-01 1.097346e+00
## Purposeother 3.268884e-01 8.600711e-01
## Purposerenewable_energy -6.954252e+00 NA
## Purposesmall_business -1.436524e+00 -2.451625e-01
## Purposetake a trip 5.178291e-01 1.785707e+00
## Purposevacation -4.120780e-01 1.349304e+00
## Purposewedding -9.495995e-01 1.033083e+00
## Current.Loan.Amount 5.598959e-08 1.366205e-07
## Credit.Score -1.780999e-03 -1.156173e-03
## Annual.Income 2.624311e-07 3.807852e-07
## Monthly.Debt -1.571120e-05 -8.130667e-06
## Years.of.Credit.History 5.523533e-03 1.624156e-02
Salida de consola y código no. 27 (Intervalos de confianza para el modelo no 1.2)-
## (Intercept) : 2.97025881610648
## TermShort Term : 1.68600071137875
## Purposebuy a car : 3.66356733795203
## Purposebuy house : 1.44199769732944
## Purposedebt consolidation : 1.73519483408952
## Purposeeducational expenses : 1.2911865096089
## Purposehome improvements : 2.15360990933999
## Purposemajor_purchase : 1.16592382649329
## Purposemedical bills : 1.69694941542442
## Purposemoving : 1.226820496728
## Purposeother : 1.81626888556126
## Purposerenewable_energy : 110331.346335517
## Purposesmall_business : 0.429448506986616
## Purposetake a trip : 3.05265904859572
## Purposevacation : 1.4999820900436
## Purposewedding : 0.978690572857058
## Current.Loan.Amount : 1.0000000772003
## Credit.Score : 0.99860018129174
## Annual.Income : 1.00000032051136
## Monthly.Debt : 0.999988080912936
## Years.of.Credit.History : 1.01091772886627
Salida de consola y código no. 28 (Odds ratios para el modelo no 1.2)-
Gráfica no. 21 (VIF modelo 1.2)-
Empleamos como estadístico a evalua el % de aciertos (suma de verdaderos positivos y verdaderos negativos sobre el numero de observaciones en Train para este caso)
modelo.fun <- function(datos, subconjunto){
#Generamos un vector de Predicción para la probabilidad de fully charged (1) para un nuevo vector random [llamado predicciones]
predicciones<-predict(modelo_1_2, newdata = datos[subconjunto,])
#Con dicho vector [predicciones], separar por clases para fully paid (1) y charged off(0) para generar el nuevo vector [Prediccion]
Predicciones <- as.factor(ifelse(predicciones >= Corte_1[corte_optimo_1][1],
yes = 1, no = 0))
# Instanciamos la matriz de confusion para la variable de respuesta (loan.status) con el vector de probabilidades llamado predicciones
cfmtx = confusionMatrix(data = Predicciones, reference = as.factor(datos$Loan.Status))
# Generamos un promedio de el porcentaje de aciertos general
class_prop = (cfmtx$table[1] + cfmtx$table[4]) / length(datos$Loan.Status)
# Regresamos dicho promedio
return(class_prop)
}
Bootstrap<-boot(data = Test_intern_1,
statistic = modelo.fun,## <- el parámetro
#### statistic requiere una función que reciba dos
#### parámetros: la muestra y los índices
R = 10000) #10mil muestras simuladas
Bootstrap
##
## ORDINARY NONPARAMETRIC BOOTSTRAP
##
##
## Call:
## boot(data = Test_intern_1, statistic = modelo.fun, R = 10000)
##
##
## Bootstrap Statistics :
## original bias std. error
## t1* 0.8376046 -0.08183753 0.003670445
Salida de consola y código no. 29 (Bootstraping en el modelo no 1.2)-
mean = mean(Bootstrap$t[,1])
bootstrap_vector_modelo_1_2 = Bootstrap$t[,1]
hist(Bootstrap$t[,1], breaks = 100,
xlab = "% de aciertos",
main = "Bootstrap de la predicción para el modelo 1.2",
ylab = "Frecuencia")
abline(v = quantile(x = Bootstrap$t[,1], c(.025,.975)),col = "red")
abline(v = mean(Bootstrap$t[,1]), col = "darkgreen", lwd = 2)
text(x=.745, y=300, labels = glue("Promedio \n {round(mean, 4)}"))
Gráfica no. 22 (Bootstraping en el modelo 1.2)-
df <- data.frame(valor = c(bootstrap_vector_modelo_1_0, bootstrap_vector_modelo_1_1, bootstrap_vector_modelo_1_2),
grupo = factor(rep(c("Modelo 1", "Modelo 1.1", "Modelo 1.2"), each = length(bootstrap_vector_modelo_1_2))))
medias <- tapply(df$valor, df$grupo, mean)
gg_boots1 = ggplot(df, aes(x = valor, fill = grupo)) +
geom_histogram(alpha = 0.6, position = "identity", bins = 100) +
#scale_fill_manual(values = c("blue", "red")) +
labs(x = "Valor", y = "Frecuencia", fill = "Grupo")+
ggtitle("Comparación para cada modelo en el remuestreo (10k simulaciones)")+
geom_vline(xintercept = mean(bootstrap_vector_modelo_1_0), color = "blue")+
geom_vline(xintercept = mean(bootstrap_vector_modelo_1_1), color = "red")+
geom_vline(xintercept = mean(bootstrap_vector_modelo_1_2), color = "green")+
theme_bw()
gg_boots1
Gráfica no. 16 (Compraración exactitud del modelo 1.1 y modelo 1.2)-
plot(Desempeno_roc_1_0,col="orange")
plot(Desempeno_roc_1,col="darkblue", add = T)
plot(Desempeno_roc_2,col="darkgreen", add = T)
plot(Desempeno1_prueba, col = "firebrick", add = T)
legend(x=.7, y=.5, legend = c("Simple", "Modelo 1", "Modelo 1.1", "Modelo 1.2"),
lwd = 2, col = c("black", "orange","darkblue","darkgreen"),
title = "Modelos")
title("Curvas ROC modelado 1")
Gráfica no. 17 (Compraración ROC del modelo 1.1 y modelo 1.2)-
En las distintas pruebas estadísticas empleadas se pudo apreciar que los resultados fueron muy similares para los 3 modelos ajustados. El MSPR por k pliegues como la media estimada de aciertos en 10 mil simulaciones arrojaron estadísticos y estimaciones por decimales no identicas, por lo que la lógica y el sentido de negocio entra en juego para la toma de decisión de cuál es el mejor de los 3 modelos.
Con el sentido de negocio que se juzga a criterio propio, caer en un falso positivo (clasificar como buen pagador a alguien que no lo es) sería más costoso que caer en un falso negativo (clasificar como mal pagador a un cliente que no lo es), por lo que se decide escoger el modelo que haya tenído el menor número de falsos negativos. Escogiendo al modelo 1.1 con 7 features.
Con esta decisión concluímos en un modelo que tiene una exactitud del
84.5%, una precisión positiva (PPV o numero de verdaderos negativos
sobre número de negativos) o propoción de aciertos en
Charged Off del 99.77% y una presición negativa (PPN o
número de verdaderos positivos sobre número de verdaderos) o proporción
de aciertos en Fully Paid del 83.65%
cfmx_modelo1 = cfmx1
save(modelo_1_1, cfmx_modelo1, Corte_modelo_1_1, file = "../models/Modelo_1.RData")