Interpretation of Model Summary

• Call：

  模型的長相，範例中我們的自變數只放了一個，因此會邏輯斯迴歸會估計一個\(\beta_1\)項，預設還會估計一個截距項\(\beta_0\)

• Deviance Residuals：

  類似線性迴歸中殘差的概念，即配適的迴歸線和觀測值的差異，以數學式子理解，\(\epsilon_i\)就是我們估計的殘差 \[ \log\left(\frac{p(x_i)}{1 - p(x_i)}\right) = \beta_0 + \beta_1 x_i + \epsilon_i \] 表中提供了偏差殘差的簡單敘述統計如中位數、第一以及第三四分位數

• Coefficients：

  估計的係數可以列成以下式子： \[ \begin{align} logit(p) = \log\left(\frac{p(x_i)}{1 - p(x_i)}\right) &= \beta_0 + \beta_1 x \\&= -10.81 + 0.005601x \end{align} \] 當balance每一單位的增加，拖欠貸款(balance = 1)的log odds就會增加0.005601

• Deviance：

  在廣義線性模型中用來衡量 goodness of fit，越高代表擬合的越差

  • Null deviance：
    僅有截距項的模型和飽和模型(saturated model)比較得到的偏差統計量的值，自由度就是N-1，N為觀測值的數量
  • Residual deviance：
    包括截距項以及balance變數的模型和飽和模型(saturated model)比較得到的偏差統計量的值，值越小代表模型含有balance變數的配式較好

• AIC (Akaike Information Criteria):

  • AIC是一個指標用來評估統計模型的複雜度和衡量統計模型goodness of fit，類似於線性迴歸中的\(adjusted R^2\)，當模型太過複雜可能導致過度擬合給予懲罰
  • 當比較多個模型時，選擇AIC越小的模型較佳

• Number of Fisher Scoring iterations:

  Fisher’s scoring algorithm類似於牛頓法用來求解最大概似估計，表中可以看到需要經過八次的迭代演算法才能收斂

type = “link”

預設的情況，predict glm()會使用type = "link"

head(predict(model_glm))

##      2369      5273      9290      1252      8826       356 
## -5.523309 -5.005989 -5.153738 -4.109757 -6.722855 -6.788078

head(predict(model_glm, type = "link"))

##      2369      5273      9290      1252      8826       356 
## -5.523309 -5.005989 -5.153738 -4.109757 -6.722855 -6.788078

其實就是每個樣本分別代入 \[ \hat{\beta}_0 + \hat{\beta}_1 x_1 + \hat{\beta}_2 x_2 + \cdots + \hat{\beta}_p x_p \] 的結果

type = “response”

預測機率需使用type = "response"

head(predict(model_glm, type='response'))

##        2369        5273        9290        1252        8826         356 
## 0.003976737 0.006653152 0.005744575 0.016146766 0.001201653 0.001125864

\[ p(x) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 x_1 )}} = \frac{1}{1 + e^{-(-10.81 + 0.005601x )}} \] 若今天某個客戶這個月的balance為2300元，他會欠卡債的機率是多少呢？ 我們將模型代入\(x=2300\) \[ p(x = 2300) = \frac{1}{1 + e^{-(-10.81 + 0.005601 \times 2300 )}} = 0.8886683 \]

predict(model_glm,type = "response",newdata = data.frame(balance = 2300))

##         1 
## 0.8886683

得到機率後並還沒完成我們的目標：分類，因此需給定一個閥值，將機率0.5以上的視作分類成1的結果

result = predict(model_glm, type='response')
result = ifelse(result > 0.5,1,0)
head(result)

## 2369 5273 9290 1252 8826  356 
##    0    0    0    0    0    0

將train的預測結果繪製混淆矩陣confusion matrix

# Making predictions on the train set.
trn_tab = table(predicted = result, actual = train$default)
trn_tab

##          actual
## predicted    0    1
##         0 7691  186
##         1   37   86

使用事前切割好的test資料來預測，這次使用caret套件來觀察混淆矩陣

## Predicting Test Data
result = predict(model_glm,newdata=test,type='response')
result = ifelse(result > 0.5,1,0)

## Confusion matrix and statistics
library(caret)
confusionMatrix(data=as.factor(result), reference=as.factor(test$default))

## Confusion Matrix and Statistics
## 
##           Reference
## Prediction    0    1
##          0 1930   46
##          1    9   15
##                                           
##                Accuracy : 0.9725          
##                  95% CI : (0.9644, 0.9792)
##     No Information Rate : 0.9695          
##     P-Value [Acc > NIR] : 0.2403          
##                                           
##                   Kappa : 0.3416          
##                                           
##  Mcnemar's Test P-Value : 1.208e-06       
##                                           
##             Sensitivity : 0.9954          
##             Specificity : 0.2459          
##          Pos Pred Value : 0.9767          
##          Neg Pred Value : 0.6250          
##              Prevalence : 0.9695          
##          Detection Rate : 0.9650          
##    Detection Prevalence : 0.9880          
##       Balanced Accuracy : 0.6206          
##                                           
##        'Positive' Class : 0               
## 

現在觀察混淆矩陣的每個欄位在醫學或統計學上常常用的指標：

\[ Sensitivity 靈敏度=True Positive Rate (TPR) = \frac{TP}{TP + FN} \] \[ Specificity 特異度=True negative rate (TNR) = \frac{TN}{TN + FP} \]

ROC曲線

全名為Receiver Operating Characteristics， 在醫學上，會通過一些閥值來斷定病人是否有得此病，而這個閥值就會影響Sensitivity和Specificity，如前面範例中我們的閥值設定為0.5，當我們考慮所有閥值的可能性並記錄下Sensitivity和Specificity的分布情況，就可以畫成ROC Curve

library("pROC")
test_prob = predict(model_glm, newdata = test, type = "response")
par(pty = "s") #指定畫布繪製成正方形的大小
test_roc = roc(test$default ~ test_prob, plot = TRUE, print.auc = TRUE, legacy.axes=TRUE) #legacy.axes=TRUE 將 x軸改成 1 - Specificity

在觀察ROC曲線得好壞時，除了觀察曲線的上的變化外，還可以計算曲線下的面積，我們稱為AUC(Area Under Curve)，AUC面積越大越好

圖來源：wikipedia