Modelo de regresión logística.

Alcance y objetivo del modelo.

El presente ejercicio se plantea ajustar un modelo que tenga el mejor performance con la muestra completa, con la finalidad de ser evaluado ante la muestra de Test correspondiente al examen final del curso.

Ajuste del modelo
  • Visualizaciones del modelo de regresion logistica simple

Gráfica no. 1 (Logit simple glm(Loan.Status ~. ) para la respuesta binaria en cada variable)

Ajuste del modelo no. 1
modelo_1 = glm(data = Train_intern_1, 
              formula = Loan.Status~., family = "binomial")
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
summary(modelo_1)
## 
## Call:
## glm(formula = Loan.Status ~ ., family = "binomial", data = Train_intern_1)
## 
## Deviance Residuals: 
##      Min        1Q    Median        3Q       Max  
## -2.74031   0.01332   0.56494   0.65734   1.35260  
## 
## Coefficients:
##                                 Estimate Std. Error z value Pr(>|z|)    
## (Intercept)                    6.986e-01  6.695e-01   1.043 0.296754    
## TermShort Term                 5.477e-01  3.887e-02  14.092  < 2e-16 ***
## Years.in.current.job1 year     2.439e-01  1.014e-01   2.406 0.016136 *  
## Years.in.current.job10+ years  1.425e-01  7.312e-02   1.948 0.051387 .  
## Years.in.current.job2 years    6.278e-02  8.851e-02   0.709 0.478142    
## Years.in.current.job3 years    2.399e-01  9.114e-02   2.632 0.008486 ** 
## Years.in.current.job4 years    1.401e-01  9.740e-02   1.438 0.150409    
## Years.in.current.job5 years    1.772e-01  9.676e-02   1.832 0.066968 .  
## Years.in.current.job6 years    5.499e-02  9.897e-02   0.556 0.578514    
## Years.in.current.job7 years    7.493e-02  1.002e-01   0.748 0.454590    
## Years.in.current.job8 years    5.362e-02  1.063e-01   0.505 0.613858    
## Years.in.current.job9 years    2.872e-01  1.140e-01   2.519 0.011759 *  
## Years.in.current.jobn/a       -1.130e-01  1.075e-01  -1.051 0.293154    
## Home.OwnershipHome Mortgage    3.777e-01  6.427e-01   0.588 0.556741    
## Home.OwnershipOwn Home         3.059e-01  6.443e-01   0.475 0.634933    
## Home.OwnershipRent             1.258e-01  6.416e-01   0.196 0.844600    
## Purposebuy a car               1.304e+00  2.457e-01   5.306 1.12e-07 ***
## Purposebuy house               4.367e-01  2.208e-01   1.978 0.047970 *  
## Purposedebt consolidation      5.678e-01  1.258e-01   4.512 6.42e-06 ***
## Purposeeducational expenses    3.212e-01  5.358e-01   0.600 0.548809    
## Purposehome improvements       7.001e-01  1.452e-01   4.823 1.42e-06 ***
## Purposemajor_purchase          1.411e-01  3.055e-01   0.462 0.644183    
## Purposemedical bills           5.692e-01  1.969e-01   2.891 0.003845 ** 
## Purposemoving                  2.910e-01  4.253e-01   0.684 0.493772    
## Purposeother                   6.291e-01  1.365e-01   4.608 4.06e-06 ***
## Purposerenewable_energy        1.149e+01  1.624e+02   0.071 0.943565    
## Purposesmall_business         -8.248e-01  3.043e-01  -2.711 0.006716 ** 
## Purposetake a trip             1.264e+00  3.783e-01   3.342 0.000833 ***
## Purposevacation                4.774e-01  4.442e-01   1.075 0.282564    
## Purposewedding                 2.664e-02  4.978e-01   0.054 0.957325    
## Current.Loan.Amount            7.654e-08  1.588e-08   4.819 1.44e-06 ***
## Credit.Score                  -1.404e-03  1.556e-04  -9.024  < 2e-16 ***
## Annual.Income                  2.973e-07  3.034e-08   9.797  < 2e-16 ***
## Monthly.Debt                  -1.143e-05  2.152e-06  -5.312 1.08e-07 ***
## Years.of.Credit.History        9.876e-03  2.849e-03   3.467 0.000527 ***
## Months.since.last.delinquent   1.630e-03  8.320e-04   1.959 0.050137 .  
## Number.of.Open.Accounts       -4.899e-03  3.935e-03  -1.245 0.213118    
## Number.of.Credit.Problems     -4.764e-02  3.358e-02  -1.419 0.155897    
## Current.Credit.Balance        -2.101e-07  1.146e-07  -1.834 0.066601 .  
## Maximum.Open.Credit            9.703e-08  4.954e-08   1.959 0.050137 .  
## Bankruptcies                   6.023e-02  3.319e-02   1.815 0.069526 .  
## Tax.Liens                      2.102e-02  3.220e-02   0.653 0.513861    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 26060  on 25656  degrees of freedom
## Residual deviance: 19713  on 25615  degrees of freedom
## AIC: 19797
## 
## Number of Fisher Scoring iterations: 11

Salida de consola y código no.1 (Ajuste del modelo no.1 )

Update del modelo con las variables estadísticamente significativas
modelo_1 = update(object = modelo_1, formula. = .~.-Home.Ownership -Number.of.Open.Accounts -Number.of.Credit.Problems -Current.Credit.Balance -Bankruptcies -Tax.Liens -Maximum.Open.Credit -Months.since.last.delinquent)
summary(modelo_1)
## 
## Call:
## glm(formula = Loan.Status ~ Term + Years.in.current.job + Purpose + 
##     Current.Loan.Amount + Credit.Score + Annual.Income + Monthly.Debt + 
##     Years.of.Credit.History, family = "binomial", data = Train_intern_1)
## 
## Deviance Residuals: 
##      Min        1Q    Median        3Q       Max  
## -2.80066   0.01318   0.57548   0.65399   1.33969  
## 
## Coefficients:
##                                 Estimate Std. Error z value Pr(>|z|)    
## (Intercept)                    9.327e-01  1.807e-01   5.160 2.47e-07 ***
## TermShort Term                 5.258e-01  3.856e-02  13.638  < 2e-16 ***
## Years.in.current.job1 year     2.578e-01  1.012e-01   2.547 0.010859 *  
## Years.in.current.job10+ years  1.944e-01  7.252e-02   2.681 0.007333 ** 
## Years.in.current.job2 years    7.007e-02  8.832e-02   0.793 0.427565    
## Years.in.current.job3 years    2.604e-01  9.094e-02   2.863 0.004191 ** 
## Years.in.current.job4 years    1.642e-01  9.714e-02   1.690 0.091019 .  
## Years.in.current.job5 years    2.033e-01  9.652e-02   2.107 0.035146 *  
## Years.in.current.job6 years    9.666e-02  9.864e-02   0.980 0.327154    
## Years.in.current.job7 years    1.088e-01  9.987e-02   1.090 0.275802    
## Years.in.current.job8 years    1.001e-01  1.059e-01   0.945 0.344614    
## Years.in.current.job9 years    3.325e-01  1.136e-01   2.927 0.003426 ** 
## Years.in.current.jobn/a       -6.294e-02  1.069e-01  -0.589 0.556175    
## Purposebuy a car               1.293e+00  2.453e-01   5.270 1.36e-07 ***
## Purposebuy house               3.710e-01  2.202e-01   1.684 0.092121 .  
## Purposedebt consolidation      5.461e-01  1.255e-01   4.352 1.35e-05 ***
## Purposeeducational expenses    2.383e-01  5.345e-01   0.446 0.655754    
## Purposehome improvements       7.671e-01  1.445e-01   5.309 1.10e-07 ***
## Purposemajor_purchase          1.569e-01  3.045e-01   0.515 0.606302    
## Purposemedical bills           5.399e-01  1.966e-01   2.747 0.006020 ** 
## Purposemoving                  1.902e-01  4.244e-01   0.448 0.654054    
## Purposeother                   5.935e-01  1.362e-01   4.359 1.31e-05 ***
## Purposerenewable_energy        1.157e+01  1.621e+02   0.071 0.943093    
## Purposesmall_business         -8.768e-01  3.032e-01  -2.892 0.003834 ** 
## Purposetake a trip             1.103e+00  3.212e-01   3.434 0.000595 ***
## Purposevacation                4.011e-01  4.435e-01   0.904 0.365762    
## Purposewedding                 5.791e-03  4.970e-01   0.012 0.990705    
## Current.Loan.Amount            7.713e-08  1.632e-08   4.726 2.29e-06 ***
## Credit.Score                  -1.392e-03  1.515e-04  -9.183  < 2e-16 ***
## Annual.Income                  3.147e-07  3.003e-08  10.480  < 2e-16 ***
## Monthly.Debt                  -1.244e-05  1.935e-06  -6.431 1.27e-10 ***
## Years.of.Credit.History        1.153e-02  2.809e-03   4.106 4.03e-05 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 26060  on 25656  degrees of freedom
## Residual deviance: 19764  on 25625  degrees of freedom
## AIC: 19828
## 
## Number of Fisher Scoring iterations: 11

Salida de consola y código no.2 (Update al modelo no.1)

El modelo 1 tiene un AIC de 26’635, la version que contempla todos los predictores era de 26’577 ###### Anova del modelo

anova(modelo_1)

Salida de consola y código no.3 (ANOVA Modelo no. 1)

Selección de variables en modelo de regresion logistica por críterio de información AIC
glmulti.logistic.out <-
    glmulti(Loan.Status ~ Term + Years.in.current.job + Purpose + 
    Current.Loan.Amount + Credit.Score + Annual.Income + Monthly.Debt + 
    Years.of.Credit.History, data = Train_intern_1,
            level = 1,               # No interaction considered
            method = "h",            # Exhaustive approach
            crit = "aic",            # AIC as criteria
            confsetsize = 5,         # Keep 5 best models
            plotty = F, report = F,  # No plot or interim reports
            fitfunction = "glm",     # glm function
            family = binomial)       # binomial family for logistic regression

## Show 5 best models (Use @ instead of $ for an S4 object)
glmulti.logistic.out@formulas
## [[1]]
## Loan.Status ~ 1 + Term + Years.in.current.job + Purpose + Current.Loan.Amount + 
##     Credit.Score + Annual.Income + Monthly.Debt + Years.of.Credit.History
## <environment: 0x56229804ae80>
## 
## [[2]]
## Loan.Status ~ 1 + Term + Purpose + Current.Loan.Amount + Credit.Score + 
##     Annual.Income + Monthly.Debt + Years.of.Credit.History
## <environment: 0x56229804ae80>
## 
## [[3]]
## Loan.Status ~ 1 + Term + Years.in.current.job + Purpose + Current.Loan.Amount + 
##     Credit.Score + Annual.Income + Monthly.Debt
## <environment: 0x56229804ae80>
## 
## [[4]]
## Loan.Status ~ 1 + Term + Purpose + Current.Loan.Amount + Credit.Score + 
##     Annual.Income + Monthly.Debt
## <environment: 0x56229804ae80>
## 
## [[5]]
## Loan.Status ~ 1 + Term + Years.in.current.job + Purpose + Current.Loan.Amount + 
##     Credit.Score + Annual.Income + Years.of.Credit.History
## <environment: 0x56229804ae80>

Salida de consola y código no.4 (Selección de variables)-

De entrada, el mejor modelo por AIC que propone la funcion glmulti() es el mismo modelo de regresión logística que se le pasó por parametro, por lo que podemos hablar de que ese al momento es el modelo ideal, resaltando que tiene 9 features. Sin embargo en segundo y tercer lugar proponé modelos con 8 features, por lo que se evaluará contra validación cruzada la viabilidad de irnos por un modelo más ligero.

Elaborando modelos alternativos a modelo_1

  • Modelo 1.1
modelo_1_1 = glm(data = Train_intern_1, 
              formula = Loan.Status~ Term + Years.in.current.job + Purpose + Current.Loan.Amount + 
    Credit.Score + Annual.Income + Monthly.Debt + Years.of.Credit.History, family = "binomial")
summary(modelo_1_1)
## 
## Call:
## glm(formula = Loan.Status ~ Term + Years.in.current.job + Purpose + 
##     Current.Loan.Amount + Credit.Score + Annual.Income + Monthly.Debt + 
##     Years.of.Credit.History, family = "binomial", data = Train_intern_1)
## 
## Deviance Residuals: 
##      Min        1Q    Median        3Q       Max  
## -2.80066   0.01318   0.57548   0.65399   1.33969  
## 
## Coefficients:
##                                 Estimate Std. Error z value Pr(>|z|)    
## (Intercept)                    9.327e-01  1.807e-01   5.160 2.47e-07 ***
## TermShort Term                 5.258e-01  3.856e-02  13.638  < 2e-16 ***
## Years.in.current.job1 year     2.578e-01  1.012e-01   2.547 0.010859 *  
## Years.in.current.job10+ years  1.944e-01  7.252e-02   2.681 0.007333 ** 
## Years.in.current.job2 years    7.007e-02  8.832e-02   0.793 0.427565    
## Years.in.current.job3 years    2.604e-01  9.094e-02   2.863 0.004191 ** 
## Years.in.current.job4 years    1.642e-01  9.714e-02   1.690 0.091019 .  
## Years.in.current.job5 years    2.033e-01  9.652e-02   2.107 0.035146 *  
## Years.in.current.job6 years    9.666e-02  9.864e-02   0.980 0.327154    
## Years.in.current.job7 years    1.088e-01  9.987e-02   1.090 0.275802    
## Years.in.current.job8 years    1.001e-01  1.059e-01   0.945 0.344614    
## Years.in.current.job9 years    3.325e-01  1.136e-01   2.927 0.003426 ** 
## Years.in.current.jobn/a       -6.294e-02  1.069e-01  -0.589 0.556175    
## Purposebuy a car               1.293e+00  2.453e-01   5.270 1.36e-07 ***
## Purposebuy house               3.710e-01  2.202e-01   1.684 0.092121 .  
## Purposedebt consolidation      5.461e-01  1.255e-01   4.352 1.35e-05 ***
## Purposeeducational expenses    2.383e-01  5.345e-01   0.446 0.655754    
## Purposehome improvements       7.671e-01  1.445e-01   5.309 1.10e-07 ***
## Purposemajor_purchase          1.569e-01  3.045e-01   0.515 0.606302    
## Purposemedical bills           5.399e-01  1.966e-01   2.747 0.006020 ** 
## Purposemoving                  1.902e-01  4.244e-01   0.448 0.654054    
## Purposeother                   5.935e-01  1.362e-01   4.359 1.31e-05 ***
## Purposerenewable_energy        1.157e+01  1.621e+02   0.071 0.943093    
## Purposesmall_business         -8.768e-01  3.032e-01  -2.892 0.003834 ** 
## Purposetake a trip             1.103e+00  3.212e-01   3.434 0.000595 ***
## Purposevacation                4.011e-01  4.435e-01   0.904 0.365762    
## Purposewedding                 5.791e-03  4.970e-01   0.012 0.990705    
## Current.Loan.Amount            7.713e-08  1.632e-08   4.726 2.29e-06 ***
## Credit.Score                  -1.392e-03  1.515e-04  -9.183  < 2e-16 ***
## Annual.Income                  3.147e-07  3.003e-08  10.480  < 2e-16 ***
## Monthly.Debt                  -1.244e-05  1.935e-06  -6.431 1.27e-10 ***
## Years.of.Credit.History        1.153e-02  2.809e-03   4.106 4.03e-05 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 26060  on 25656  degrees of freedom
## Residual deviance: 19764  on 25625  degrees of freedom
## AIC: 19828
## 
## Number of Fisher Scoring iterations: 11

El modelo 1.1 tiene un AIC de 26637

Salida de consola y código no.5 (Ajustando modelo no. 1.1)-

anova(modelo_1_1)

Salida de consola y código no.6 (ANOVA modelo no. 1.1)-

  • Modelo 1.2
modelo_1_2 = glm(data = Train_intern_1, 
              formula = Loan.Status~ Term + Purpose + Current.Loan.Amount + Credit.Score + 
    Annual.Income + Monthly.Debt + Years.of.Credit.History, family = "binomial")
summary(modelo_1_2)
## 
## Call:
## glm(formula = Loan.Status ~ Term + Purpose + Current.Loan.Amount + 
##     Credit.Score + Annual.Income + Monthly.Debt + Years.of.Credit.History, 
##     family = "binomial", data = Train_intern_1)
## 
## Deviance Residuals: 
##      Min        1Q    Median        3Q       Max  
## -2.76338   0.01326   0.58050   0.65258   1.36745  
## 
## Coefficients:
##                               Estimate Std. Error z value Pr(>|z|)    
## (Intercept)                  1.089e+00  1.715e-01   6.347 2.20e-10 ***
## TermShort Term               5.224e-01  3.846e-02  13.583  < 2e-16 ***
## Purposebuy a car             1.298e+00  2.451e-01   5.298 1.17e-07 ***
## Purposebuy house             3.660e-01  2.198e-01   1.665 0.095886 .  
## Purposedebt consolidation    5.511e-01  1.252e-01   4.402 1.07e-05 ***
## Purposeeducational expenses  2.556e-01  5.336e-01   0.479 0.631967    
## Purposehome improvements     7.671e-01  1.441e-01   5.323 1.02e-07 ***
## Purposemajor_purchase        1.535e-01  3.039e-01   0.505 0.613459    
## Purposemedical bills         5.288e-01  1.964e-01   2.693 0.007077 ** 
## Purposemoving                2.044e-01  4.242e-01   0.482 0.629861    
## Purposeother                 5.968e-01  1.359e-01   4.392 1.12e-05 ***
## Purposerenewable_energy      1.161e+01  1.620e+02   0.072 0.942844    
## Purposesmall_business       -8.453e-01  3.027e-01  -2.792 0.005238 ** 
## Purposetake a trip           1.116e+00  3.211e-01   3.476 0.000509 ***
## Purposevacation              4.055e-01  4.429e-01   0.916 0.359901    
## Purposewedding              -2.154e-02  4.969e-01  -0.043 0.965427    
## Current.Loan.Amount          7.720e-08  1.640e-08   4.708 2.51e-06 ***
## Credit.Score                -1.401e-03  1.564e-04  -8.956  < 2e-16 ***
## Annual.Income                3.205e-07  3.013e-08  10.636  < 2e-16 ***
## Monthly.Debt                -1.192e-05  1.933e-06  -6.165 7.05e-10 ***
## Years.of.Credit.History      1.086e-02  2.734e-03   3.972 7.14e-05 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 26060  on 25656  degrees of freedom
## Residual deviance: 19790  on 25636  degrees of freedom
## AIC: 19832
## 
## Number of Fisher Scoring iterations: 11

El modelo 1.2 tiene un AIC de 26’647

Salida de consola y código no.7 (Ajustando modelo no. 1.2)-

Validación cruzada y MSPR

Del modelo base y los dos modelos que derivan de este, que además presentan la ventaja de contar con una feature menos, se evaluara cada uno por validación cruzada y por MSPR para solo quedarnos con el mejor.

  • Validación por k-fold para el modelo base
MSE_kf_1 = cv.glm(data = Train_intern_1,
               glmfit = modelo_1, 
               K = 50)
MSE_kf_1$delta
## [1] 0.1222039 0.1222002

Salida de consola y código no.8 (MSPR por K-Pliegues del modelo no. 1)-

Interpretando $delta:

El primer valor representa el error medio cuadrático promedio para los K pliegues (MSPR o Mean Squared Prediction Error), y el segundo valor representa la desviación estándar de los errores medios cuadráticos de los K pliegues.

  • Validación por k-fold para el modelo 1.1
MSE_kf_1_1 = cv.glm(data = Train_intern_1,
            glmfit = modelo_1_1, K = 50)
MSE_kf_1_1$delta
## [1] 0.1222117 0.1222079

Salida de consola y código no.9 (MSE por K-Pliegues del modelo no. 1.1)-

  • Validación por k-fold para el modelo 1.2
MSE_kf_1_2 = cv.glm(data = Train_intern_1,
            glmfit = modelo_1_2, K = 50)
MSE_kf_1_2$delta
## [1] 0.1222063 0.1222041

Salida de consola y código no. 10 (MSE por K-Pliegues del modelo no. 1.2)-

El MSPR y MSPR por corrección son practicamente los mismos, por los que requerimos evaluarlos en validación cruzada para quedarnos con el de mejor ajuste.

Modelo no 1
  • Respuesta del modelo en el conjunto de prueba
prediccion_1_0 = predict(object = modelo_1,
                    newdata = Test_intern_1, type = "response")
df_prediccion_1_0 <- data.frame(preds = prediccion_1_0)

dist_1_0 = ggplot(df_prediccion_1_0, aes(y="preds", x=prediccion_1_0))+
  geom_jitter(alpha=0.5, color="greenyellow")+
  geom_violin(alpha=0.5)+
  geom_boxplot(width = 0.3, fill = "white", alpha = 0.5)+
  scale_x_continuous(labels=c("0%", "25%", "50%", "75%", "100%"), name = "Respuesta")+
  scale_y_discrete(labels=c(""), name=NULL)+
  ggtitle("Predicciones para el conjunto Test en el modelo 1.1")+
  theme_bw()

dist_1_0

Gráfica no. 2 (Distribución de la predicción para el modelo no 1)-

  • Punto de corte ideal para maximizar la sensibilidad
prediccion_1_0 = predict(object = modelo_1,
                    newdata = Test_intern_1, type = "response")

Sensibilidad_1_0 <- vector()
Corte_1_0 <- seq(0.05, 0.95, by = 0.001)

for (i in 1:length(Corte_1_0)) {
  Prediccion <- as.factor(ifelse(prediccion_1_0 >= Corte_1_0[i], yes = 1, no = 0))
  
  Sensibilidad_1_0[i] <- tryCatch(
    {
      confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status), 
                             )$byClass[1]
    },
    error = function(e) {
      0 # O cualquier valor predeterminado
    }
  )
}
df_sensibilidad = data.frame(corte= Corte_1_0, sensibilidad = Sensibilidad_1_0)
sens1_0 = ggplot(df_sensibilidad, aes(x=Corte_1_0, y=Sensibilidad_1_0))+
  geom_line()+
  geom_point(aes(x = Corte_1_0[which.max(Sensibilidad_1_0)], y = Sensibilidad_1_0[which.max(Sensibilidad_1_0)]), 
             shape = 21, size = 5, fill = "white", color = "blue") +
  geom_text(aes(x = Corte_1_0[which.max(Sensibilidad_1_0)], y = Sensibilidad_1_0[which.max(Sensibilidad_1_0)] - 0.07, label = glue("Max \n{Corte_1_0[which.max(Sensibilidad_1_0)]}")),
            hjust = 0.5) +
  scale_y_continuous(breaks=c(0.25, 0.5, 0.75, 1), labels = c("25%", "50%", "75%", "100%"),
                     name = "Sensibilidad")+
  scale_x_continuous("Punto de corte")+
  ggtitle("Punto de corte ideal para máximizar la sensibilidad (modelo 1)")+
  theme_bw()
sens1_0

Gráfica no. 3 (punto de corte ideal para maximizar la sensibilidad)-

  • punto de corte ideal para maximizar la especificidad
prediccion_1_0 = predict(object = modelo_1,
                    newdata = Test_intern_1, type = "response")

Especificidad_1_0 <- vector()
Corte_1_0 <- seq(0.05, 0.95, by = 0.001)

for (i in 1:length(Corte_1_0)) {
  Prediccion <- as.factor(ifelse(prediccion_1_0 >= Corte_1_0[i], yes = 1, no = 0))
  
  Especificidad_1_0[i] <- tryCatch(
    {
      confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status))$byClass[2]
    },
    error = function(e) {
      0 # O cualquier valor predeterminado
    }
  )
}
df_especificidad = data.frame(corte= Corte_1_0, especificidad = Especificidad_1_0)
espe1_0 = ggplot(df_especificidad, aes(x=Corte_1_0, y=Especificidad_1_0))+
  geom_line()+
  geom_point(aes(x = Corte_1_0[which.max(Especificidad_1_0)], y = Especificidad_1_0[which.max(Especificidad_1_0)]), 
             shape = 21, size = 5, fill = "white", color = "blue") +
  geom_text(aes(x = Corte_1_0[which.max(Especificidad_1_0)], y = Especificidad_1_0[which.max(Especificidad_1_0)] - 0.03, label = glue("Max \n{Corte_1_0[which.max(Especificidad_1_0)]}")),
            hjust = 0.5) +
  scale_y_continuous(breaks=c(0.85, 0.90, 0.95, 1), labels = c("85%", "90%", "95%", "100%"),
                     name = "Especificidad")+
  scale_x_continuous("Punto de corte")+
  ggtitle("Punto de corte ideal para máximizar la especificidad (modelo 1.1)")+
  theme_bw()
espe1_0

Gráfica no. 4 (punto de corte ideal para maximizar la especificidad)-

  • punto de corte ideal para maximizar la exactitud
prediccion_1_0 = predict(object = modelo_1,
                    newdata = Test_intern_1, type = "response")

Exactitud_1_0 <- vector()
Corte_1_0 <- seq(0.05, 0.95, by = 0.001)

for (i in 1:length(Corte_1_0)) {
  Prediccion <- as.factor(ifelse(prediccion_1_0 >= Corte_1_0[i], yes = 1, no = 0))
  
  Exactitud_1_0[i] <- tryCatch(
    {
      confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status))$overall[1]
    },
    error = function(e) {
      0 # O cualquier valor predeterminado
    }
  )
}
df_exactitud = data.frame(corte= Corte_1_0, exactitud = Exactitud_1_0)
exac1_0 = ggplot(df_especificidad, aes(x=Corte_1_0, y=Exactitud_1_0))+
  geom_line()+
  geom_point(aes(x = Corte_1_0[which.max(Exactitud_1_0)], y = Exactitud_1_0[which.max(Exactitud_1_0)]), 
             shape = 21, size = 5, fill = "white", color = "blue") +
  geom_text(aes(x = Corte_1_0[which.max(Exactitud_1_0)], y = Exactitud_1_0[which.max(Exactitud_1_0)] - 0.06, label = glue("Max \n{Corte_1_0[which.max(Exactitud_1_0)]}")),
            hjust = 0.5) +
  scale_y_continuous(breaks=c(0.2, 0.4, 0.5, 0.6, 0.7, 0.8), labels = c("20%", "40%", "50%", "60%", "70%", "80%"),
                     name = "Exactitud")+
  scale_x_continuous("Punto de corte")+
  ggtitle("Punto de corte ideal para máximizar la exactitud (modelo 1)")+
  theme_bw()
exac1_0

Gráfica no. 5 (punto de corte ideal para maximizar la exactitud

corte_optimo_1_0 = which(Exactitud_1_0==max(Exactitud_1_0))
Corte_1_0[corte_optimo_1_0][1]
## [1] 0.418
Corte_modelo_1 = Corte_1_0[corte_optimo_1_0][1]

Salida de consola y código no. 11 (Corte óptimo para máximizar la exactitud en modelo 1)-

Matriz de confusión para el modelo 1
Prediccion_1_0<-as.factor(ifelse(prediccion_1_0>=Corte_1_0[corte_optimo_1_0][1],yes = 1, no = 0))

confusionMatrix(data = Prediccion_1_0, reference = as.factor(Test_intern_1$Loan.Status))
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction    0    1
##          0  197    0
##          1  617 3010
##                                           
##                Accuracy : 0.8387          
##                  95% CI : (0.8266, 0.8502)
##     No Information Rate : 0.7871          
##     P-Value [Acc > NIR] : 5.384e-16       
##                                           
##                   Kappa : 0.3345          
##                                           
##  Mcnemar's Test P-Value : < 2.2e-16       
##                                           
##             Sensitivity : 0.24201         
##             Specificity : 1.00000         
##          Pos Pred Value : 1.00000         
##          Neg Pred Value : 0.82989         
##              Prevalence : 0.21287         
##          Detection Rate : 0.05152         
##    Detection Prevalence : 0.05152         
##       Balanced Accuracy : 0.62101         
##                                           
##        'Positive' Class : 0               
## 
cfmx1_0 = confusionMatrix(data = Prediccion_1_0, reference = as.factor(Test_intern_1$Loan.Status))

Salida de consola y código no. 12 (Matriz de confusión para el modelo no 1)-

mosaic(cfmx1_0$table, shade = T, colorize = T,
       gp = gpar(fill = matrix(c("green3", "red2", "red2", "green3"), 2, 2)),
       main = "Matriz de confusión (modelo 1)")

Salida de consola y código no. 13 (Matriz de confusión ilustrada para el modelo no 1)-

Curva ROC
##### Comparar modelo ya ajustado (no.1) con uno nuevo y muy simple
Prediccion_1_0_roc<-predict(object = modelo_1,
                    newdata = Test_intern_1, type = "response", 
                    se.fit = T)

predicciones_roc_1_0=prediction(Prediccion_1_0_roc$fit,Test_intern_1$Loan.Status)
Desempeno_roc_1_0<-performance(predicciones_roc_1_0,'tpr','fpr')

## Cgenerando nuevo modelo simple
modelo_simple_prueba <- glm(data = Train_intern_1, 
              formula = Loan.Status~Purpose+Bankruptcies, family = "binomial")

Prediccion_1_prueba<-predict(object = modelo_simple_prueba,
                    newdata = Test_intern_1, type = "response", 
                    se.fit = T)

predicciones1_prueba<-prediction(Prediccion_1_prueba$fit,Test_intern_1$Loan.Status)
Desempeno1_prueba<-performance(predicciones1_prueba,'tpr','fpr')

#ejecutar en conjunto
plot(Desempeno_roc_1_0,col="darkgreen")
plot(Desempeno1_prueba, col = "firebrick", add = T)
legend(x=.7, y=.4, legend = c("Simple","Completo"),
      lwd = 2, col = c("red","darkgreen"),
      title = "Modelos")
title("Curva ROC del modelo 1")

Gráfica no. 6 (Curva ROC modelo 1.1)-

Identificando los coeficientes modelo no.1
## (Intercept) :  0.932680494203529 
## TermShort Term :  0.525847910372681 
## Years.in.current.job1 year :  0.257809162972053 
## Years.in.current.job10+ years :  0.194437636647271 
## Years.in.current.job2 years :  0.0700708648989517 
## Years.in.current.job3 years :  0.260393401170943 
## Years.in.current.job4 years :  0.164178781653995 
## Years.in.current.job5 years :  0.203338860213015 
## Years.in.current.job6 years :  0.0966554169988606 
## Years.in.current.job7 years :  0.108837763080918 
## Years.in.current.job8 years :  0.100051238598585 
## Years.in.current.job9 years :  0.332473124912718 
## Years.in.current.jobn/a :  -0.0629410616041882 
## Purposebuy a car :  1.29253415830096 
## Purposebuy house :  0.370955418402984 
## Purposedebt consolidation :  0.546111726406996 
## Purposeeducational expenses :  0.238268471044301 
## Purposehome improvements :  0.76714909052342 
## Purposemajor_purchase :  0.156947515885097 
## Purposemedical bills :  0.539930478171742 
## Purposemoving :  0.190198398380081 
## Purposeother :  0.593534070548838 
## Purposerenewable_energy :  11.5722608209892 
## Purposesmall_business :  -0.876844485922435 
## Purposetake a trip :  1.10308008256593 
## Purposevacation :  0.401078663978513 
## Purposewedding :  0.0057906552940641 
## Current.Loan.Amount :  7.71294310199049e-08 
## Credit.Score :  -0.00139153622094078 
## Annual.Income :  3.14734681529794e-07 
## Monthly.Debt :  -1.24436008609123e-05 
## Years.of.Credit.History :  0.0115324775482946

Salida de consola y código no. 14 (Coeficientes modelo no 1)-

Intervalos de confianza modelo no. 1
## Waiting for profiling to be done...
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
##                                       2.5 %        97.5 %
## (Intercept)                    5.902558e-01  1.304648e+00
## TermShort Term                 4.502140e-01  6.013773e-01
## Years.in.current.job1 year     6.016562e-02  4.570848e-01
## Years.in.current.job10+ years  5.115355e-02  3.354917e-01
## Years.in.current.job2 years   -1.032783e-01  2.430392e-01
## Years.in.current.job3 years    8.214852e-02  4.387430e-01
## Years.in.current.job4 years   -2.584210e-02  3.551029e-01
## Years.in.current.job5 years    1.451537e-02  3.930144e-01
## Years.in.current.job6 years   -9.623316e-02  2.905857e-01
## Years.in.current.job7 years   -8.636576e-02  3.052729e-01
## Years.in.current.job8 years   -1.064700e-01  3.087068e-01
## Years.in.current.job9 years    1.116072e-01  5.571911e-01
## Years.in.current.jobn/a       -2.717537e-01  1.476466e-01
## Purposebuy a car               8.259166e-01  1.790840e+00
## Purposebuy house              -5.481173e-02  8.102871e-01
## Purposedebt consolidation      2.957370e-01  7.882329e-01
## Purposeeducational expenses   -7.496383e-01  1.390153e+00
## Purposehome improvements       4.812113e-01  1.048117e+00
## Purposemajor_purchase         -4.249096e-01  7.748282e-01
## Purposemedical bills           1.579890e-01  9.297412e-01
## Purposemoving                 -6.014059e-01  1.083477e+00
## Purposeother                   3.230997e-01  8.573826e-01
## Purposerenewable_energy       -7.010964e+00            NA
## Purposesmall_business         -1.469072e+00 -2.757549e-01
## Purposetake a trip             5.044983e-01  1.773110e+00
## Purposevacation               -4.177967e-01  1.345907e+00
## Purposewedding                -9.224643e-01  1.060594e+00
## Current.Loan.Amount            5.598691e-08  1.361246e-07
## Credit.Score                  -1.762949e-03 -1.153407e-03
## Annual.Income                  2.567042e-07  3.747290e-07
## Monthly.Debt                  -1.623782e-05 -8.650545e-06
## Years.of.Credit.History        6.051163e-03  1.706198e-02

Salida de consola y código no. 15 (Intervalos de confianza para el modelo no 1)-

ODDS Ratios del modelo no 1
  • Identificando los odds ratios \(e^{B_{k}}\)
## (Intercept) :  2.5413120282048 
## TermShort Term :  1.6918928138224 
## Years.in.current.job1 year :  1.29409183441855 
## Years.in.current.job10+ years :  1.21462773226534 
## Years.in.current.job2 years :  1.07258418713115 
## Years.in.current.job3 years :  1.29744040085301 
## Years.in.current.job4 years :  1.17842497702742 
## Years.in.current.job5 years :  1.22548766690823 
## Years.in.current.job6 years :  1.10148075667516 
## Years.in.current.job7 years :  1.11498144451265 
## Years.in.current.job8 years :  1.10522754693547 
## Years.in.current.job9 years :  1.39441242372575 
## Years.in.current.jobn/a :  0.938998815142083 
## Purposebuy a car :  3.6420042866203 
## Purposebuy house :  1.44911846793098 
## Purposedebt consolidation :  1.72652674120435 
## Purposeeducational expenses :  1.2690498502331 
## Purposehome improvements :  2.1536177243197 
## Purposemajor_purchase :  1.16993420932807 
## Purposemedical bills :  1.71588756639737 
## Purposemoving :  1.20948953461931 
## Purposeother :  1.81037511660618 
## Purposerenewable_energy :  106113.103775792 
## Purposesmall_business :  0.416093832224875 
## Purposetake a trip :  3.013433368108 
## Purposevacation :  1.49343474339794 
## Purposewedding :  1.00580745354708 
## Current.Loan.Amount :  1.00000007712943 
## Credit.Score :  0.998609431516654 
## Annual.Income :  1.00000031473473 
## Monthly.Debt :  0.99998755647656 
## Years.of.Credit.History :  1.01159923293903
Interpretación Odds ratios en el modelo 1
  • Si la variable Term adopta el valor Short, este evento estara asociado con un aumento del 72.47% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Term adopa el valor de Long.
  • Si la variable Purpose adopta el buy a car, este evento estara asociado con un aumento del 231% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan
  • Si la variable Purpose adopta el buy a house, este evento estara asociado con un aumento del 30% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan
  • Si la variable Purpose adopta el valor debt consolidation, este evento estara asociado con un aumento del 59% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan
  • Si la variable Purpose adopta el valor educational expenses, este evento estara asociado con un aumento del 58.8% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan
  • Si la variable Purpose adopta el valor house improvement, este evento estara asociado con un aumento del 84.4% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan
  • Si la variable Purpose adopta el valor major_purchase, este evento estara asociado con un decremento del 3% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan
  • Si la variable Purpose adopta el valor medical bills, este evento estara asociado con un aumento del 53.5% en las probabilidades del pago al corriente (Fully Paid)
  • Si la variable Purpose adopta el valor moving, este evento estara asociado con un decremento del 8.1% en las probabilidades del pago al corriente (Fully Paid)
  • Si la variable Purpose adopta el valor other, este evento estara asociado con un aumento del 60% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan
  • Si la variable Purpose adopta el valor renewable_energy, este evento estara asociado con un aumento muy exagerado en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan
  • Si la variable Purpose adopta el valor small_business, este evento estara asociado con una disminución del 62% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan
  • Si la variable Purpose adopta el valor take a trip, este evento estara asociado con un aumento del 125% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan
  • Si la variable Purpose adopta el valor vacation, este evento estara asociado con un aumento del 20% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan
  • Si la variable Purpose adopta el valor wedding, este evento estara asociado con una disminución del 3% en las probabilidades del pago al corriente (Fully Paid). comparado con el evento cuando Purpose adopta el valor de Business Loan
  • Si la variable Current.Loan.Amount aumenta en 10,000,000 unidades, este evento estara asociado con un aumento del 76.5% en las probabilidades del pago al corriente (Fully Paid).
  • Si la variable Credit.Score aumenta en una 100 unidades, este evento estara asociado con una disminución del 13.74% en las probabilidades del pago al corriente (Fully Paid).
  • Si la variable Annual.Income aumenta en 1,000,000 unidades, este evento estara asociado con un aumento del 34.4% en las probabilidades del pago al corriente (Fully Paid).
  • Si la variable Monthly.Debt aumenta en 10,00 unidades, este evento estara asociado con una disminución del 13.4% en las probabilidades del pago al corriente (Fully Paid).
  • Si la variable Years.of.Credit.History aumenta en una unidad, este evento estara asociado con un aumento del 0.93% en las probabilidades del pago al corriente (Fully Paid).
Evaluación supuestos
  • VIF (Ausencia de multicolinealidad)

Gráfica no. 7 (VIF modelo 1)-

Supuestos del modelo 1
  • La variable de interés es de respuesta binaria. Este supuesto se corrobora al inicio de este rmarkdown.
  • Las variables independientes estan relacionadas linealmente con la variable dependiente. Este supuesto se corroboró en el EDA.
Bootstraping del modelo 1.1

Empleamos como estadístico a evalua el % de aciertos (suma de verdaderos positivos y verdaderos negativos sobre el numero de observaciones en Train para este caso)

modelo.fun <- function(datos, subconjunto){
  #Generamos un vector de Predicción para la probabilidad de fully charged (1) para un nuevo vector random [llamado predicciones], donde predeciremos con el modelo ajustado en Train_intern_1, y la nueva información nunca antes vista por el modelo vendra de Test_intern_1
  predicciones<-predict(modelo_1, newdata = datos[subconjunto,])
  #Con dicho vector [predicciones], separar por clases para fully paid (1) y charged off(0) para generar el nuevo vector [Prediccion]
  Predicciones <- as.factor(ifelse(predicciones >= Corte_1_0[corte_optimo_1_0][1],
                                yes = 1, no = 0))
  # Instanciamos la matriz de confusion para la variable de respuesta       (loan.status) con el vector de probabilidades llamado predicciones
  cfmtx = confusionMatrix(data = Predicciones, reference = as.factor(datos$Loan.Status))
  
  # Generamos un promedio de el porcentaje de aciertos general
  class_prop = (cfmtx$table[1] + cfmtx$table[4]) / length(datos$Loan.Status)
  
  
  # Regresamos dicho promedio
  return(class_prop)
}


Bootstrap<-boot(data = Test_intern_1, 
                statistic = modelo.fun,## <- el parámetro 
                #### statistic requiere una función que reciba dos 
                #### parámetros: la muestra y los índices
                R = 10000) #10mil muestras simuladas

Bootstrap
## 
## ORDINARY NONPARAMETRIC BOOTSTRAP
## 
## 
## Call:
## boot(data = Test_intern_1, statistic = modelo.fun, R = 10000)
## 
## 
## Bootstrap Statistics :
##      original      bias    std. error
## t1* 0.8378661 -0.08137882 0.003654245

Salida de consola y código no. 17 (Bootstraping en el modelo no 1)-

mean = mean(Bootstrap$t[,1])
bootstrap_vector_modelo_1_0 = Bootstrap$t[,1]

hist(Bootstrap$t[,1], breaks = 100,
     xlab = "% de aciertos",
     main = "Bootstrap de la predicción para el modelo 1.1",
     ylab = "Frecuencia")
abline(v = quantile(x = Bootstrap$t[,1], c(.025,.975)),col = "red")
abline(v = mean(Bootstrap$t[,1]), col = "darkgreen", lwd = 2)
text(x=.745, y=200, labels = glue("Promedio \n{round(mean, 4)}"))

Gráfica no. 8 (Bootstraping en el modelo 1)-

Modelo no 1.1
  • Respuesta del modelo en el conjunto de prueba
prediccion_1 = predict(object = modelo_1_1,
                    newdata = Test_intern_1, type = "response")
df_prediccion_1 <- data.frame(preds = prediccion_1)

dist_1 = ggplot(df_prediccion_1, aes(y="preds", x=prediccion_1))+
  geom_jitter(alpha=0.5, color="greenyellow")+
  geom_violin(alpha=0.5)+
  geom_boxplot(width = 0.3, fill = "white", alpha = 0.5)+
  scale_x_continuous(labels=c("0%", "25%", "50%", "75%", "100%"), name = "Respuesta")+
  scale_y_discrete(labels=c(""), name=NULL)+
  ggtitle("Predicciones para el conjunto Test en el modelo 1.1")+
  theme_bw()

dist_1

Gráfica no. 9 (Distribución de la predicción para el modelo no 1.1)-

  • Punto de corte ideal para maximizar la sensibilidad
prediccion_1 = predict(object = modelo_1_1,
                    newdata = Test_intern_1, type = "response")

Sensibilidad_1 <- vector()
Corte_1 <- seq(0.05, 0.95, by = 0.001)

for (i in 1:length(Corte_1)) {
  Prediccion <- as.factor(ifelse(prediccion_1 >= Corte_1[i], yes = 1, no = 0))
  
  Sensibilidad_1[i] <- tryCatch(
    {
      confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status), 
                             )$byClass[1]
    },
    error = function(e) {
      0 # O cualquier valor predeterminado
    }
  )
}
df_sensibilidad = data.frame(corte= Corte_1, sensibilidad = Sensibilidad_1)
sens1 = ggplot(df_sensibilidad, aes(x=Corte_1, y=Sensibilidad_1))+
  geom_line()+
  geom_point(aes(x = Corte_1[which.max(Sensibilidad_1)], y = Sensibilidad_1[which.max(Sensibilidad_1)]), 
             shape = 21, size = 5, fill = "white", color = "blue") +
  geom_text(aes(x = Corte_1[which.max(Sensibilidad_1)], y = Sensibilidad_1[which.max(Sensibilidad_1)] - 0.07, label = glue("Max \n{Corte_1[which.max(Sensibilidad_1)]}")),
            hjust = 0.5) +
  scale_y_continuous(breaks=c(0.25, 0.5, 0.75, 1), labels = c("25%", "50%", "75%", "100%"),
                     name = "Sensibilidad")+
  scale_x_continuous("Punto de corte")+
  ggtitle("Punto de corte ideal para máximizar la sensibilidad (modelo 1.1)")+
  theme_bw()
sens1

Gráfica no. 10 (punto de corte ideal para maximizar la sensibilidad)-

  • punto de corte ideal para maximizar la especificidad
prediccion_1 = predict(object = modelo_1_1,
                    newdata = Test_intern_1, type = "response")

Especificidad_1 <- vector()
Corte_1 <- seq(0.05, 0.95, by = 0.001)

for (i in 1:length(Corte_1)) {
  Prediccion <- as.factor(ifelse(prediccion_1 >= Corte_1[i], yes = 1, no = 0))
  
  Especificidad_1[i] <- tryCatch(
    {
      confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status))$byClass[2]
    },
    error = function(e) {
      0 # O cualquier valor predeterminado
    }
  )
}
df_especificidad = data.frame(corte= Corte_1, especificidad = Especificidad_1)
espe1 = ggplot(df_especificidad, aes(x=Corte_1, y=Especificidad_1))+
  geom_line()+
  geom_point(aes(x = Corte_1[which.max(Especificidad_1)], y = Especificidad_1[which.max(Especificidad_1)]), 
             shape = 21, size = 5, fill = "white", color = "blue") +
  geom_text(aes(x = Corte_1[which.max(Especificidad_1)], y = Especificidad_1[which.max(Especificidad_1)] - 0.03, label = glue("Max \n{Corte_1[which.max(Especificidad_1)]}")),
            hjust = 0.5) +
  scale_y_continuous(breaks=c(0.85, 0.90, 0.95, 1), labels = c("85%", "90%", "95%", "100%"),
                     name = "Especificidad")+
  scale_x_continuous("Punto de corte")+
  ggtitle("Punto de corte ideal para máximizar la especificidad (modelo 1.1)")+
  theme_bw()
espe1

Gráfica no. 11 (punto de corte ideal para maximizar la especificidad)-

  • punto de corte ideal para maximizar la exactitud
prediccion_1 = predict(object = modelo_1_1,
                    newdata = Test_intern_1, type = "response")

Exactitud_1 <- vector()
Corte_1 <- seq(0.05, 0.95, by = 0.001)

for (i in 1:length(Corte_1)) {
  Prediccion <- as.factor(ifelse(prediccion_1 >= Corte_1[i], yes = 1, no = 0))
  
  Exactitud_1[i] <- tryCatch(
    {
      confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status))$overall[1]
    },
    error = function(e) {
      0 # O cualquier valor predeterminado
    }
  )
}
df_exactitud = data.frame(corte= Corte_1, exactitud = Exactitud_1)
exac1 = ggplot(df_especificidad, aes(x=Corte_1, y=Exactitud_1))+
  geom_line()+
  geom_point(aes(x = Corte_1[which.max(Exactitud_1)], y = Exactitud_1[which.max(Exactitud_1)]), 
             shape = 21, size = 5, fill = "white", color = "blue") +
  geom_text(aes(x = Corte_1[which.max(Exactitud_1)], y = Exactitud_1[which.max(Exactitud_1)] - 0.06, label = glue("Max \n{Corte_1[which.max(Exactitud_1)]}")),
            hjust = 0.5) +
  scale_y_continuous(breaks=c(0.2, 0.4, 0.5, 0.6, 0.7, 0.8), labels = c("20%", "40%", "50%", "60%", "70%", "80%"),
                     name = "Exactitud")+
  scale_x_continuous("Punto de corte")+
  ggtitle("Punto de corte ideal para máximizar la exactitud (modelo 1.1)")+
  theme_bw()
exac1

Gráfica no. 12 (punto de corte ideal para maximizar la exactitud en modelo 1.1)

corte_optimo_1 = which(Exactitud_1==max(Exactitud_1))
Corte_1[corte_optimo_1][1]
## [1] 0.418
Corte_modelo_1_1 = Corte_1[corte_optimo_1][1]

Salida de consola y código no. 18 (Corte óptimo para máximizar la exactitud)-

Matriz de confusión para el modelo 1.1
Prediccion_1<-as.factor(ifelse(prediccion_1>=Corte_1[corte_optimo_1][1],yes = 1, no = 0))

confusionMatrix(data = Prediccion_1, reference = as.factor(Test_intern_1$Loan.Status))
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction    0    1
##          0  197    0
##          1  617 3010
##                                           
##                Accuracy : 0.8387          
##                  95% CI : (0.8266, 0.8502)
##     No Information Rate : 0.7871          
##     P-Value [Acc > NIR] : 5.384e-16       
##                                           
##                   Kappa : 0.3345          
##                                           
##  Mcnemar's Test P-Value : < 2.2e-16       
##                                           
##             Sensitivity : 0.24201         
##             Specificity : 1.00000         
##          Pos Pred Value : 1.00000         
##          Neg Pred Value : 0.82989         
##              Prevalence : 0.21287         
##          Detection Rate : 0.05152         
##    Detection Prevalence : 0.05152         
##       Balanced Accuracy : 0.62101         
##                                           
##        'Positive' Class : 0               
## 
cfmx1 = confusionMatrix(data = Prediccion_1, reference = as.factor(Test_intern_1$Loan.Status))

Salida de consola y código no. 19 (Matriz de confusión para el modelo no 1.1)-

mosaic(cfmx1$table, shade = T, colorize = T,
       gp = gpar(fill = matrix(c("green3", "red2", "red2", "green3"), 2, 2)),
       main = "Matriz de confusión (modelo 1.1)")

Salida de consola y código no. 13 (Matriz de confusión ilustrada para el modelo no 1.1)-

Curva ROC
##### Comparar modelo ya ajustado (no.1) con uno nuevo y muy simple
Prediccion_1_roc<-predict(object = modelo_1_1,
                    newdata = Test_intern_1, type = "response", 
                    se.fit = T)

predicciones_roc_1=prediction(Prediccion_1_roc$fit,Test_intern_1$Loan.Status)
Desempeno_roc_1<-performance(predicciones_roc_1,'tpr','fpr')

#ejecutar en conjunto
plot(Desempeno_roc_1,col="darkgreen")
plot(Desempeno1_prueba, col = "firebrick", add = T)
legend(x=.7, y=.4, legend = c("Simple","Completo"),
      lwd = 2, col = c("red","darkgreen"),
      title = "Modelos")
title("Curva ROC del modelo 1.1")

Gráfica no. 14 (Curva ROC modelo 1.1)-

Identificando los coeficientes modelo no.1
## (Intercept) :  0.932680494203529 
## TermShort Term :  0.525847910372681 
## Years.in.current.job1 year :  0.257809162972053 
## Years.in.current.job10+ years :  0.194437636647271 
## Years.in.current.job2 years :  0.0700708648989517 
## Years.in.current.job3 years :  0.260393401170943 
## Years.in.current.job4 years :  0.164178781653995 
## Years.in.current.job5 years :  0.203338860213015 
## Years.in.current.job6 years :  0.0966554169988606 
## Years.in.current.job7 years :  0.108837763080918 
## Years.in.current.job8 years :  0.100051238598585 
## Years.in.current.job9 years :  0.332473124912718 
## Years.in.current.jobn/a :  -0.0629410616041882 
## Purposebuy a car :  1.29253415830096 
## Purposebuy house :  0.370955418402984 
## Purposedebt consolidation :  0.546111726406996 
## Purposeeducational expenses :  0.238268471044301 
## Purposehome improvements :  0.76714909052342 
## Purposemajor_purchase :  0.156947515885097 
## Purposemedical bills :  0.539930478171742 
## Purposemoving :  0.190198398380081 
## Purposeother :  0.593534070548838 
## Purposerenewable_energy :  11.5722608209892 
## Purposesmall_business :  -0.876844485922435 
## Purposetake a trip :  1.10308008256593 
## Purposevacation :  0.401078663978513 
## Purposewedding :  0.0057906552940641 
## Current.Loan.Amount :  7.71294310199049e-08 
## Credit.Score :  -0.00139153622094078 
## Annual.Income :  3.14734681529794e-07 
## Monthly.Debt :  -1.24436008609123e-05 
## Years.of.Credit.History :  0.0115324775482946

Salida de consola y código no. 20 (Coeficientes modelo no 1.2)-

Intervalos de confianza modelo no. 1.1
## Waiting for profiling to be done...
## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred

## Warning: glm.fit: fitted probabilities numerically 0 or 1 occurred
##                                       2.5 %        97.5 %
## (Intercept)                    5.902558e-01  1.304648e+00
## TermShort Term                 4.502140e-01  6.013773e-01
## Years.in.current.job1 year     6.016562e-02  4.570848e-01
## Years.in.current.job10+ years  5.115355e-02  3.354917e-01
## Years.in.current.job2 years   -1.032783e-01  2.430392e-01
## Years.in.current.job3 years    8.214852e-02  4.387430e-01
## Years.in.current.job4 years   -2.584210e-02  3.551029e-01
## Years.in.current.job5 years    1.451537e-02  3.930144e-01
## Years.in.current.job6 years   -9.623316e-02  2.905857e-01
## Years.in.current.job7 years   -8.636576e-02  3.052729e-01
## Years.in.current.job8 years   -1.064700e-01  3.087068e-01
## Years.in.current.job9 years    1.116072e-01  5.571911e-01
## Years.in.current.jobn/a       -2.717537e-01  1.476466e-01
## Purposebuy a car               8.259166e-01  1.790840e+00
## Purposebuy house              -5.481173e-02  8.102871e-01
## Purposedebt consolidation      2.957370e-01  7.882329e-01
## Purposeeducational expenses   -7.496383e-01  1.390153e+00
## Purposehome improvements       4.812113e-01  1.048117e+00
## Purposemajor_purchase         -4.249096e-01  7.748282e-01
## Purposemedical bills           1.579890e-01  9.297412e-01
## Purposemoving                 -6.014059e-01  1.083477e+00
## Purposeother                   3.230997e-01  8.573826e-01
## Purposerenewable_energy       -7.010964e+00            NA
## Purposesmall_business         -1.469072e+00 -2.757549e-01
## Purposetake a trip             5.044983e-01  1.773110e+00
## Purposevacation               -4.177967e-01  1.345907e+00
## Purposewedding                -9.224643e-01  1.060594e+00
## Current.Loan.Amount            5.598691e-08  1.361246e-07
## Credit.Score                  -1.762949e-03 -1.153407e-03
## Annual.Income                  2.567042e-07  3.747290e-07
## Monthly.Debt                  -1.623782e-05 -8.650545e-06
## Years.of.Credit.History        6.051163e-03  1.706198e-02

Salida de consola y código no. 51 (Intervalos de confianza para el modelo no 1.2)-

ODDS Ratios del modelo no 1.1
  • Identificando los odds ratios \(e^{B_{k}}\)
## (Intercept) :  2.5413120282048 
## TermShort Term :  1.6918928138224 
## Years.in.current.job1 year :  1.29409183441855 
## Years.in.current.job10+ years :  1.21462773226534 
## Years.in.current.job2 years :  1.07258418713115 
## Years.in.current.job3 years :  1.29744040085301 
## Years.in.current.job4 years :  1.17842497702742 
## Years.in.current.job5 years :  1.22548766690823 
## Years.in.current.job6 years :  1.10148075667516 
## Years.in.current.job7 years :  1.11498144451265 
## Years.in.current.job8 years :  1.10522754693547 
## Years.in.current.job9 years :  1.39441242372575 
## Years.in.current.jobn/a :  0.938998815142083 
## Purposebuy a car :  3.6420042866203 
## Purposebuy house :  1.44911846793098 
## Purposedebt consolidation :  1.72652674120435 
## Purposeeducational expenses :  1.2690498502331 
## Purposehome improvements :  2.1536177243197 
## Purposemajor_purchase :  1.16993420932807 
## Purposemedical bills :  1.71588756639737 
## Purposemoving :  1.20948953461931 
## Purposeother :  1.81037511660618 
## Purposerenewable_energy :  106113.103775792 
## Purposesmall_business :  0.416093832224875 
## Purposetake a trip :  3.013433368108 
## Purposevacation :  1.49343474339794 
## Purposewedding :  1.00580745354708 
## Current.Loan.Amount :  1.00000007712943 
## Credit.Score :  0.998609431516654 
## Annual.Income :  1.00000031473473 
## Monthly.Debt :  0.99998755647656 
## Years.of.Credit.History :  1.01159923293903

Salida de consola y código no. 22 (Odds ratios para el modelo no 1.1)-

Interpretación Odds ratios en el modelo 1.1
  • Si la variable Term adopta el valor Short, este evento estara asociado con un aumento del 72.6% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Term adopa el valor de Long.

  • Si la variable Years.in.current.job adopta el 1 year, este evento estara asociado con un aumento del 22.4% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Years.in.current.job adopta el valor de < 1 year

  • Si la variable Years.in.current.job adopta el 10+ years, este evento estara asociado con un aumento del 19.4% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Years.in.current.job adopta el valor de < 1 year

  • Si la variable Years.in.current.job adopta el 2 years, este evento estara asociado con un aumento del 1.6% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Years.in.current.job adopta el valor de < 1 year

  • Si la variable Years.in.current.job adopta el 3 years, este evento estara asociado con un aumento del 26.7% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Years.in.current.job adopta el valor de < 1 year

  • Si la variable Years.in.current.job adopta el 4 years, este evento estara asociado con un aumento del 23.7% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Years.in.current.job adopta el valor de < 1 year

  • Si la variable Years.in.current.job adopta el 5 years, este evento estara asociado con un aumento del 25.1% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Years.in.current.job adopta el valor de < 1 year

  • Si la variable Years.in.current.job adopta el 6 year, este evento estara asociado con un aumento del 4% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Years.in.current.job adopta el valor de < 1 year

  • Si la variable Years.in.current.job adopta el 7 year, este evento estara asociado con un aumento del 7% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Years.in.current.job adopta el valor de < 1 year

  • Si la variable Years.in.current.job adopta el 8 year, este evento estara asociado con un aumento del 11% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Years.in.current.job adopta el valor de < 1 year

  • Si la variable Years.in.current.job adopta el 9 year, este evento estara asociado con un aumento del 26.5% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Years.in.current.job adopta el valor de < 1 year

  • Si la variable Years.in.current.job adopta el n/a, este evento estara asociado con un decre,emtp del 5.9% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Years.in.current.job adopta el valor de < 1 year

  • Si la variable Purpose adopta el buy a car, este evento estara asociado con un aumento del 231% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan

  • Si la variable Purpose adopta el buy a house, este evento estara asociado con un aumento del 30% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan

  • Si la variable Purpose adopta el valor debt consolidation, este evento estara asociado con un aumento del 59% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan

  • Si la variable Purpose adopta el valor educational expenses, este evento estara asociado con un aumento del 58.8% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan

  • Si la variable Purpose adopta el valor house improvement, este evento estara asociado con un aumento del 84.4% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan

  • Si la variable Purpose adopta el valor major_purchase, este evento estara asociado con un decremento del 2.5% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan

  • Si la variable Purpose adopta el valor medical bills, este evento estara asociado con un aumento del 52.7% en las probabilidades del pago al corriente (Fully Paid)

  • Si la variable Purpose adopta el valor moving, este evento estara asociado con un decremento del 8% en las probabilidades del pago al corriente (Fully Paid)

  • Si la variable Purpose adopta el valor other, este evento estara asociado con un aumento del 60% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan

  • Si la variable Purpose adopta el valor renewable_energy, este evento estara asociado con un aumento muy exagerado en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan

  • Si la variable Purpose adopta el valor small_business, este evento estara asociado con una disminución del 62% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan

  • Si la variable Purpose adopta el valor take a trip, este evento estara asociado con un aumento del 125% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan

  • Si la variable Purpose adopta el valor vacation, este evento estara asociado con un aumento del 21% en las probabilidades del pago al corriente (Fully Paid) comparado con el evento cuando Purpose adopta el valor de Business Loan

  • Si la variable Purpose adopta el valor wedding, este evento estara asociado con una disminución del 2% en las probabilidades del pago al corriente (Fully Paid). comparado con el evento cuando Purpose adopta el valor de Business Loan

  • Si la variable Current.Loan.Amount aumenta en 10,000,000 unidades, este evento estara asociado con un aumento del 76.5% en las probabilidades del pago al corriente (Fully Paid).

  • Si la variable Credit.Score aumenta en una 100 unidades, este evento estara asociado con una disminución del 13.74% en las probabilidades del pago al corriente (Fully Paid).

  • Si la variable Annual.Income aumenta en 1,000,000 unidades, este evento estara asociado con un aumento del 34.4% en las probabilidades del pago al corriente (Fully Paid).

  • Si la variable Monthly.Debt aumenta en 10,00 unidades, este evento estara asociado con una disminución del 13.4% en las probabilidades del pago al corriente (Fully Paid).

  • Si la variable Years.of.Credit.History aumenta en una unidad, este evento estara asociado con un aumento del 0.93% en las probabilidades del pago al corriente (Fully Paid).

Evaluación supuestos
  • VIF (Ausencia de multicolinealidad)

Gráfica no. 15 (VIF modelo 1.1)-

Supuestos del modelo 1.1
  • La variable de interés es de respuesta binaria. Este supuesto se corrobora al inicio de este rmarkdown.
  • Las variables independientes estan relacionadas linealmente con la variable dependiente. Este supuesto se corroboró en el EDA.
Bootstraping del modelo 1.1

Empleamos como estadístico a evalua el % de aciertos (suma de verdaderos positivos y verdaderos negativos sobre el numero de observaciones en Train para este caso)

modelo.fun <- function(datos, subconjunto){
  #Generamos un vector de Predicción para la probabilidad de fully charged (1) para un nuevo vector random [llamado predicciones], donde predeciremos con el modelo ajustado en Train_intern_1, y la nueva información nunca antes vista por el modelo vendra de Test_intern_1
  predicciones<-predict(modelo_1_1, newdata = datos[subconjunto,])
  #Con dicho vector [predicciones], separar por clases para fully paid (1) y charged off(0) para generar el nuevo vector [Prediccion]
  Predicciones <- as.factor(ifelse(predicciones >= Corte_1[corte_optimo_1][1],
                                yes = 1, no = 0))
  # Instanciamos la matriz de confusion para la variable de respuesta       (loan.status) con el vector de probabilidades llamado predicciones
  cfmtx = confusionMatrix(data = Predicciones, reference = as.factor(datos$Loan.Status))
  
  # Generamos un promedio de el porcentaje de aciertos general
  class_prop = (cfmtx$table[1] + cfmtx$table[4]) / length(datos$Loan.Status)
  
  
  # Regresamos dicho promedio
  return(class_prop)
}


Bootstrap<-boot(data = Test_intern_1, 
                statistic = modelo.fun,## <- el parámetro 
                #### statistic requiere una función que reciba dos 
                #### parámetros: la muestra y los índices
                R = 10000) #10mil muestras simuladas

Bootstrap
## 
## ORDINARY NONPARAMETRIC BOOTSTRAP
## 
## 
## Call:
## boot(data = Test_intern_1, statistic = modelo.fun, R = 10000)
## 
## 
## Bootstrap Statistics :
##      original      bias    std. error
## t1* 0.8378661 -0.08133271 0.003659999

Salida de consola y código no. 23 (Bootstraping en el modelo no 1.1)-

mean = mean(Bootstrap$t[,1])
bootstrap_vector_modelo_1_1 = Bootstrap$t[,1]

hist(Bootstrap$t[,1], breaks = 100,
     xlab = "% de aciertos",
     main = "Bootstrap de la predicción para el modelo 1.1",
     ylab = "Frecuencia")
abline(v = quantile(x = Bootstrap$t[,1], c(.025,.975)),col = "red")
abline(v = mean(Bootstrap$t[,1]), col = "darkgreen", lwd = 2)
text(x=.745, y=200, labels = glue("Promedio \n{round(mean, 4)}"))

Gráfica no. 16 (Bootstraping en el modelo 1.1)-

Modelo no 1.2
  • Respuesta del modelo en el conjunto de prueba
prediccion_2 = predict(object = modelo_1_2,
                    newdata = Test_intern_1, type = "response")
df_prediccion_2 <- data.frame(preds = prediccion_2)

dist2 = ggplot(df_prediccion_2, aes(y="preds", x=prediccion_2))+
  geom_jitter(alpha=0.5, color="greenyellow")+
  geom_violin(alpha=0.5)+
  geom_boxplot(width = 0.3, fill = "white", alpha = 0.5)+
  scale_x_continuous(labels=c("0%", "25%", "50%", "75%", "100%"), name = "Respuesta")+
  scale_y_discrete(labels=c(""), name=NULL)+
  ggtitle("Predicciones del modelo 1.2 para el conjunto Test")+
  theme_bw()
dist2

Gráfica no. 16 (Distribución de la predicción para el modelo no 1.3)-

  • punto de corte ideal para maximizar la sensibilidad (vs Test)
prediccion_2 = predict(object = modelo_1_2,
                    newdata = Test_intern_1, type = "response")

Sensibilidad_2 <- vector()
Corte_1 <- seq(0.05, 0.95, by = 0.001)

for (i in 1:length(Corte_1)) {
  Prediccion <- as.factor(ifelse(prediccion_2 >= Corte_1[i], yes = 1, no = 0))
  
  Sensibilidad_2[i] <- tryCatch(
    {
      confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status))$byClass[1]
    },
    error = function(e) {
      0 # O cualquier valor predeterminado
    }
  )
}
df_sensibilidad = data.frame(corte= Corte_1, sensibilidad = Sensibilidad_2)
sens2 = ggplot(df_sensibilidad, aes(x=Corte_1, y=Sensibilidad_2))+
  geom_line()+
  geom_point(aes(x = Corte_1[which.max(Sensibilidad_2)], y = Sensibilidad_2[which.max(Sensibilidad_2)]), 
             shape = 21, size = 5, fill = "white", color = "blue") +
  geom_text(aes(x = Corte_1[which.max(Sensibilidad_2)], y = Sensibilidad_2[which.max(Sensibilidad_2)] - 0.07, label = glue("Max \n{Corte_1[which.max(Sensibilidad_2)]}")),
            hjust = 0.5) +
  scale_y_continuous(breaks=c(0.25, 0.5, 0.75, 1), labels = c("25%", "50%", "75%", "100%"),
                     name = "Sensibilidad")+
  scale_x_continuous("Punto de corte")+
  ggtitle("Punto de corte ideal para máximizar la sensibilidad (modelo 1.2)")+
  theme_bw()
sens2

Gráfica no. 17 (punto de corte ideal para maximizar la sensibilidad (vs Test) en modelo no 1.2)-

  • punto de corte ideal para maximizar la sensibilidad (vs Test)
prediccion_2 = predict(object = modelo_1_2,
                    newdata = Test_intern_1, type = "response")

Especificidad_2 <- vector()
Corte_1 <- seq(0.05, 0.95, by = 0.001)

for (i in 1:length(Corte_1)) {
  Prediccion <- as.factor(ifelse(prediccion_2 >= Corte_1[i], yes = 1, no = 0))
  
  Especificidad_2[i] <- tryCatch(
    {
      # confusionMatrix(reference = as.factor(Test_intern_1$Loan.Status), Prediccion)$overall[1]
      confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status))$byClass[2]
    },
    error = function(e) {
      0 # O cualquier valor predeterminado
    }
  )
}
df_especificidad = data.frame(corte= Corte_1, especificidad = Especificidad_2)
espe2 = ggplot(df_especificidad, aes(x=Corte_1, y=Especificidad_2))+
  geom_line()+
  geom_point(aes(x = Corte_1[which.max(Especificidad_2)], y = Especificidad_2[which.max(Especificidad_2)]), 
             shape = 21, size = 5, fill = "white", color = "blue") +
  geom_text(aes(x = Corte_1[which.max(Especificidad_2)], y = Especificidad_2[which.max(Especificidad_2)] - 0.03, label = glue("Max \n{Corte_1[which.max(Especificidad_2)]}")),
            hjust = 0.5) +
  scale_y_continuous(breaks=c(0.85, 0.90, 0.95, 1), labels = c("85%", "90%", "95%", "100%"),
                     name = "Especificidad")+
  scale_x_continuous("Punto de corte")+
  ggtitle("Punto corte ideal para máximizar la especificidad (modelo 1.2)")+
  theme_bw()
espe2

Gráfica no. 18 (punto de corte ideal para maximizar la especificidad (vs Test) en modelo no 1.2)-

  • punto de corte ideal para maximizar la exactitud (vs Test)
prediccion_2 = predict(object = modelo_1_2,
                    newdata = Test_intern_1, type = "response")

Exactitud_2 <- vector()
Corte_1 <- seq(0.05, 0.95, by = 0.001)

for (i in 1:length(Corte_1)) {
  Prediccion <- as.factor(ifelse(prediccion_2 >= Corte_1[i], yes = 1, no = 0))
  
  Exactitud_2[i] <- tryCatch(
    {
      confusionMatrix(data = Prediccion, reference = as.factor(Test_intern_1$Loan.Status))$overall[1]
    },
    error = function(e) {
      0 # O cualquier valor predeterminado
    }
  )
}
df_exactitud = data.frame(corte= Corte_1, exactitud = Exactitud_2)
exac2 = ggplot(df_especificidad, aes(x=Corte_1, y=Exactitud_2))+
  geom_line()+
  geom_point(aes(x = Corte_1[which.max(Exactitud_2)], y = Exactitud_2[which.max(Exactitud_2)]), 
             shape = 21, size = 5, fill = "white", color = "blue") +
  geom_text(aes(x = Corte_1[which.max(Exactitud_2)], y = Exactitud_2[which.max(Exactitud_2)] - 0.05, label = glue("Max \n{Corte_1[which.max(Exactitud_2)]}")),
            hjust = 0.5) +
  scale_y_continuous(breaks=c(0.2, 0.4, 0.5, 0.6, 0.7, 0.8), labels = c("20%", "40%", "50%", "60%", "70%", "80%"),
                     name = "Exactitud")+
  scale_x_continuous("Punto de corte")+
  ggtitle("Punto de corte ideal para máximizar la exactitud (modelo 1.2)")+
  theme_bw()
exac2

Gráfica no. 19 (punto de corte ideal para maximizar la exactitud (vs Test) en modelo no 1.2)-

corte_optimo_1 = which(Exactitud_2==max(Exactitud_2))
Corte_1[corte_optimo_1][1]
## [1] 0.561
Corte_modelo_1_2 = Corte_1[corte_optimo_1][1]

Salida de consola y código no. 18 (Corte ótimo para máximizar la exactitud en modelo no 1.2)-

Matriz de confusión para el modelo 1.2
Prediccion_2<-as.factor(ifelse(prediccion_2>=Corte_1[corte_optimo_1][1],yes = 1, no = 0))

confusionMatrix(data = Prediccion_2, reference = as.factor(Test_intern_1$Loan.Status))
## Confusion Matrix and Statistics
## 
##           Reference
## Prediction    0    1
##          0  198    0
##          1  616 3010
##                                           
##                Accuracy : 0.8389          
##                  95% CI : (0.8269, 0.8504)
##     No Information Rate : 0.7871          
##     P-Value [Acc > NIR] : 3.812e-16       
##                                           
##                   Kappa : 0.336           
##                                           
##  Mcnemar's Test P-Value : < 2.2e-16       
##                                           
##             Sensitivity : 0.24324         
##             Specificity : 1.00000         
##          Pos Pred Value : 1.00000         
##          Neg Pred Value : 0.83012         
##              Prevalence : 0.21287         
##          Detection Rate : 0.05178         
##    Detection Prevalence : 0.05178         
##       Balanced Accuracy : 0.62162         
##                                           
##        'Positive' Class : 0               
## 
cfmx2 = confusionMatrix(data = Prediccion_2, reference = as.factor(Test_intern_1$Loan.Status))

Salida de consola y código no. 24 (Matriz de confusión para el modelo no 1.3)-

mosaic(cfmx2$table, shade = T, colorize = T,
       gp = gpar(fill = matrix(c("green3", "red2", "red2", "green3"), 2, 2)),
       main = "Matriz de confusión (modelo 1.2)")

Salida de consola y código no. 25 (Matriz de confusión ilustrada para el modelo no 1.2)-

Curva ROC modelo 1.2
##### Comparar modelo ya ajustado (no.1) con uno nuevo y muy simple
Prediccion_2_roc<-predict(object = modelo_1_2,
                    newdata = Test_intern_1, type = "response", 
                    se.fit = T)

predicciones_roc_2=prediction(Prediccion_2_roc$fit,Test_intern_1$Loan.Status)
Desempeno_roc_2<-performance(predicciones_roc_2,'tpr','fpr')

#ejecutar en conjunto
plot(Desempeno_roc_2,col="darkgreen")
plot(Desempeno1_prueba, col = "firebrick", add = T)
legend(x=.7, y=.4, legend = c("Simple","Completo"),
      lwd = 2, col = c("red","darkgreen"),
      title = "Modelos")
title("Curva ROC del modelo 1.2")

Gráfica no. 20 (Curva ROC modelo 1.2)-

Identificando los coeficientes modelo 1.2
## (Intercept) :  1.08864909248803 
## TermShort Term :  0.522359281512402 
## Purposebuy a car :  1.29843735521927 
## Purposebuy house :  0.366029442002563 
## Purposedebt consolidation :  0.551119703399264 
## Purposeeducational expenses :  0.255561570530467 
## Purposehome improvements :  0.767145461748545 
## Purposemajor_purchase :  0.153513756886289 
## Purposemedical bills :  0.528832177572354 
## Purposemoving :  0.204425860591488 
## Purposeother :  0.596784333954978 
## Purposerenewable_energy :  11.6112433564853 
## Purposesmall_business :  -0.845253435346872 
## Purposetake a trip :  1.1160130300174 
## Purposevacation :  0.405453168065951 
## Purposewedding :  -0.0215397509079245 
## Current.Loan.Amount :  7.72002975770808e-08 
## Credit.Score :  -0.00140079936974011 
## Annual.Income :  3.20511308856137e-07 
## Monthly.Debt :  -1.19191580971957e-05 
## Years.of.Credit.History :  0.0108585607293768

Salida de consola y código no. 26 (Coeficientes modelo no 1.2)-

Intervalos de confianza modelo 1.2
## Waiting for profiling to be done...
##                                     2.5 %        97.5 %
## (Intercept)                  7.661446e-01  1.444646e+00
## TermShort Term               4.469241e-01  5.976942e-01
## Purposebuy a car             8.322079e-01  1.796408e+00
## Purposebuy house            -5.889935e-02  8.045572e-01
## Purposedebt consolidation    3.012867e-01  7.926638e-01
## Purposeeducational expenses -7.302749e-01  1.406023e+00
## Purposehome improvements     4.819057e-01  1.047391e+00
## Purposemajor_purchase       -4.270659e-01  7.702041e-01
## Purposemedical bills         1.473224e-01  9.182276e-01
## Purposemoving               -5.866461e-01  1.097346e+00
## Purposeother                 3.268884e-01  8.600711e-01
## Purposerenewable_energy     -6.954252e+00            NA
## Purposesmall_business       -1.436524e+00 -2.451625e-01
## Purposetake a trip           5.178291e-01  1.785707e+00
## Purposevacation             -4.120780e-01  1.349304e+00
## Purposewedding              -9.495995e-01  1.033083e+00
## Current.Loan.Amount          5.598959e-08  1.366205e-07
## Credit.Score                -1.780999e-03 -1.156173e-03
## Annual.Income                2.624311e-07  3.807852e-07
## Monthly.Debt                -1.571120e-05 -8.130667e-06
## Years.of.Credit.History      5.523533e-03  1.624156e-02

Salida de consola y código no. 27 (Intervalos de confianza para el modelo no 1.2)-

ODDS Ratios del modelo no 1.2
  • Identificando los odds ratios \(e^{B_{k}}\)
## (Intercept) :  2.97025881610648 
## TermShort Term :  1.68600071137875 
## Purposebuy a car :  3.66356733795203 
## Purposebuy house :  1.44199769732944 
## Purposedebt consolidation :  1.73519483408952 
## Purposeeducational expenses :  1.2911865096089 
## Purposehome improvements :  2.15360990933999 
## Purposemajor_purchase :  1.16592382649329 
## Purposemedical bills :  1.69694941542442 
## Purposemoving :  1.226820496728 
## Purposeother :  1.81626888556126 
## Purposerenewable_energy :  110331.346335517 
## Purposesmall_business :  0.429448506986616 
## Purposetake a trip :  3.05265904859572 
## Purposevacation :  1.4999820900436 
## Purposewedding :  0.978690572857058 
## Current.Loan.Amount :  1.0000000772003 
## Credit.Score :  0.99860018129174 
## Annual.Income :  1.00000032051136 
## Monthly.Debt :  0.999988080912936 
## Years.of.Credit.History :  1.01091772886627

Salida de consola y código no. 28 (Odds ratios para el modelo no 1.2)-

Evaluación supuestos
  • VIF

Gráfica no. 21 (VIF modelo 1.2)-

  • No existen problemas de multicolinealidad.
  • La variable de interés es de respuesta binaria.
  • Las variables independientes estan relacionadas linealmente con la variable dependiente.
Bootstraping del modelo 1.2

Empleamos como estadístico a evalua el % de aciertos (suma de verdaderos positivos y verdaderos negativos sobre el numero de observaciones en Train para este caso)

modelo.fun <- function(datos, subconjunto){
  #Generamos un vector de Predicción para la probabilidad de fully charged (1) para un nuevo vector random [llamado predicciones]
  predicciones<-predict(modelo_1_2, newdata = datos[subconjunto,])
  #Con dicho vector [predicciones], separar por clases para fully paid (1) y charged off(0) para generar el nuevo vector [Prediccion]
  Predicciones <- as.factor(ifelse(predicciones >= Corte_1[corte_optimo_1][1],
                                yes = 1, no = 0))
  # Instanciamos la matriz de confusion para la variable de respuesta       (loan.status) con el vector de probabilidades llamado predicciones
  cfmtx = confusionMatrix(data = Predicciones, reference = as.factor(datos$Loan.Status))
  
  # Generamos un promedio de el porcentaje de aciertos general
  class_prop = (cfmtx$table[1] + cfmtx$table[4]) / length(datos$Loan.Status)
  
  
  # Regresamos dicho promedio
  return(class_prop)
}


Bootstrap<-boot(data = Test_intern_1, 
                statistic = modelo.fun,## <- el parámetro 
                #### statistic requiere una función que reciba dos 
                #### parámetros: la muestra y los índices
                R = 10000) #10mil muestras simuladas

Bootstrap
## 
## ORDINARY NONPARAMETRIC BOOTSTRAP
## 
## 
## Call:
## boot(data = Test_intern_1, statistic = modelo.fun, R = 10000)
## 
## 
## Bootstrap Statistics :
##      original      bias    std. error
## t1* 0.8376046 -0.08183753 0.003670445

Salida de consola y código no. 29 (Bootstraping en el modelo no 1.2)-

mean = mean(Bootstrap$t[,1])
bootstrap_vector_modelo_1_2 = Bootstrap$t[,1]

hist(Bootstrap$t[,1], breaks = 100,
     xlab = "% de aciertos",
     main = "Bootstrap de la predicción para el modelo 1.2",
     ylab = "Frecuencia")
abline(v = quantile(x = Bootstrap$t[,1], c(.025,.975)),col = "red")
abline(v = mean(Bootstrap$t[,1]), col = "darkgreen", lwd = 2)
text(x=.745, y=300, labels = glue("Promedio \n {round(mean, 4)}"))

Gráfica no. 22 (Bootstraping en el modelo 1.2)-

Comparación de remuestreos en los modelos 1, 1.1 y 1.2
df <- data.frame(valor = c(bootstrap_vector_modelo_1_0, bootstrap_vector_modelo_1_1, bootstrap_vector_modelo_1_2),
                 grupo = factor(rep(c("Modelo 1", "Modelo 1.1", "Modelo 1.2"), each = length(bootstrap_vector_modelo_1_2))))

medias <- tapply(df$valor, df$grupo, mean)

gg_boots1 = ggplot(df, aes(x = valor, fill = grupo)) +
  geom_histogram(alpha = 0.6, position = "identity", bins = 100) +
  #scale_fill_manual(values = c("blue", "red")) +
  labs(x = "Valor", y = "Frecuencia", fill = "Grupo")+
  ggtitle("Comparación para cada modelo en el remuestreo (10k simulaciones)")+
  geom_vline(xintercept = mean(bootstrap_vector_modelo_1_0), color = "blue")+
  geom_vline(xintercept = mean(bootstrap_vector_modelo_1_1), color = "red")+
  geom_vline(xintercept = mean(bootstrap_vector_modelo_1_2), color = "green")+
  theme_bw()
gg_boots1

Gráfica no. 16 (Compraración exactitud del modelo 1.1 y modelo 1.2)-

plot(Desempeno_roc_1_0,col="orange")
plot(Desempeno_roc_1,col="darkblue", add = T)
plot(Desempeno_roc_2,col="darkgreen", add = T)
plot(Desempeno1_prueba, col = "firebrick", add = T)
legend(x=.7, y=.5, legend = c("Simple", "Modelo 1", "Modelo 1.1", "Modelo 1.2"),
      lwd = 2, col = c("black", "orange","darkblue","darkgreen"),
      title = "Modelos")
title("Curvas ROC modelado 1")

Gráfica no. 17 (Compraración ROC del modelo 1.1 y modelo 1.2)-

Conclusiones Generales

En las distintas pruebas estadísticas empleadas se pudo apreciar que los resultados fueron muy similares para los 3 modelos ajustados. El MSPR por k pliegues como la media estimada de aciertos en 10 mil simulaciones arrojaron estadísticos y estimaciones por decimales no identicas, por lo que la lógica y el sentido de negocio entra en juego para la toma de decisión de cuál es el mejor de los 3 modelos.


Con el sentido de negocio que se juzga a criterio propio, caer en un falso positivo (clasificar como buen pagador a alguien que no lo es) sería más costoso que caer en un falso negativo (clasificar como mal pagador a un cliente que no lo es), por lo que se decide escoger el modelo que haya tenído el menor número de falsos negativos. Escogiendo al modelo 1.1 con 7 features.

Con esta decisión concluímos en un modelo que tiene una exactitud del 84.5%, una precisión positiva (PPV o numero de verdaderos negativos sobre número de negativos) o propoción de aciertos en Charged Off del 99.77% y una presición negativa (PPN o número de verdaderos positivos sobre número de verdaderos) o proporción de aciertos en Fully Paid del 83.65%

Exportando modelo al directorio
cfmx_modelo1 = cfmx1
save(modelo_1_1, cfmx_modelo1, Corte_modelo_1_1, file = "../models/Modelo_1.RData")