1.1. Aim

- Classification using Machine Learning

기업 금융과 마찬가지로 소매 금융도 리스크 관리가 중요하다. 2007~2008년의 세계 금융 위기(리먼브라더스 사태)는 대출 업무의 투명성과 엄격함의 중요성을 부각시켰다. 기존 신용(시스템)의 유효성이 제한되면서 신용 평점에 따라 엄격하게 관리하는 것이 필요해졌고, 은행은 대출 시스템을 강화하고 위험 대출을 더 정확하게 찾아내기 위해 신용평점모형(Credit Scoring Model)을 머신 러닝을 활용하고 있다.

많은 나라의 정부기관은 대출 업무를 면밀히 감시하고 있기 때문에 경영진은 대출이 승인되고 거절되는 사유를 설명할 수 있어야만 한다. 이런 정보는 신용 평가가 만족스럽지 않은 이유를 확인하려는 고객들에게도 유용하다. 의사결정트리는 다른 알고리즘 모델에 비해 정확도는 떨어지지만 설명력이 높다. 이 때문에 은행 업계에서 널리 사용되고 있다.

자동화된 신용 평가 모델을 이용해 전화나 웹에서 대출 신청을 즉시 승인할 수 있다. Python은 컴퓨팅에 많은 라이브러리가 구축되어 있는 반면, R은 상대적으로 통계 기반이라 금융 위험 관리 분야에 라이브러리가 많다. 과거의 결과를 고려하여 미래의 성과를 정확하게 예측하기위한 모델을 훈련해보겠다(현실과 밀접한 신용 점수 할당 문제를 기계학습에서 대규모로 적용할 경우 풀어가는 방식을 R로 간단한 대출 승인 모델을 개발하고, 재정적 손실을 야기하는 오류를 최소화하기 위한 모델 성능을 개선할 예정이다).

1.2. Dataset

- 2007-2015의 LendingClub 대출자료

• database.sqlite (134.64 MB) : sqlite 데이터베이스 파일 형식 대출 데이터 전체
• LCDataDictionary.xlsx (20.5 KB) : 데이터 사전 (변수 설명)
• loan.csv (105.01 MB) : csv 파일 형식 대출 데이터 전체

- Data description

2.1. Setting

- Import Libraries

- Read the data

3.1. Preview the data

- Data size

dim(df)

## [1] 887379     74

- Data table

#datatable(head(df, 100), style="bootstrap", class="table-condensed", options = list(dom = 'tp', scrollX = TRUE, search=''))
#kable(head(df, 5))

3.2. Basic Statistics

- Data summary

colnames(df)

str(df)
summary(df)

3.3. Unique values

- Variable별 Unique한 값 찾기

#for (name in names(df)){
#  print(sprintf("Unique values for %s:", name))
#  print(unique(df[[name]]))
#  cat('\n')
#  }

3.4. Duplicate rows

- Checking for any duplicate rows

sum(duplicated(df))

## [1] 0

4.2. Cleansing the data

- 누락 된 데이터가 10 % 이상인 열 제거

loan_cleaned <- df[, -which(colMeans(is.na(df)) > 0.1)]

이제 49개의 변수가 저장된 loan_cleaned로 데이터 세트로 추가 분석을 시행할 것이다.

4.3. Removing duplicate variables

id, member_id, url 변수는 오직 대출 식별 목적으로 만든 고유한 값이므로 제거해도 된다. 우편 번호 열은 처음 세 자리만 있으면 되고, 정보는 주 변수에서 얻을 수 있다. emp_title도 약 6%의 NA 값을 갖고 있으며 해당 데이터에서 50,000행을 삭제하면 데이터 손실이 크므로 해당 변수를 제거하겠다.

loan_cleaned <- within(loan_cleaned, rm('member_id', 'id', 'url', 'emp_title', "title","zip_code"))

• 또한 대출을 승인할지 여부를 결정할 때 존재하지 않을 변수를 제거하고 고객 정보 및 고객 인구 통계와 관련된 변수를 보유하겠다.

• funded_amnt, funded_amnt_inv, issue_d, out_prncp, out_prncp_inv, total_pymnt, total_pymnt_inv, total_rec_int, total_rec_late_fee, total_rec_prncp 등과 같은 변수는 기본적으로 고객 지불 매개 변수이며 의사 결정 중에는 사용할 수 없다.

loan_cleaned <- loan_cleaned[, -c(2,3,13,28,29,30,31,32,33,34,35,36,37,38,40,43)]

4.4. Converting incorrect data types

범주형 변수이지만 문자열로 표시되는 일부 변수가 있으므로 형변환해야 한다.

- Convert String to Factor Variables

loan_cleaned$term <- as.factor(loan_cleaned$term)
loan_cleaned$grade <- as.factor(loan_cleaned$grade)
loan_cleaned$emp_length <- as.factor(loan_cleaned$emp_length)
loan_cleaned$home_ownership <- as.factor(loan_cleaned$home_ownership)
loan_cleaned$verification_status <- as.factor(loan_cleaned$verification_status)
loan_cleaned$loan_status <- as.factor(loan_cleaned$loan_status)
loan_cleaned$application_type <- as.factor(loan_cleaned$application_type)
loan_cleaned$pymnt_plan <- as.factor(loan_cleaned$pymnt_plan)
loan_cleaned$initial_list_status <- as.factor(loan_cleaned$initial_list_status)
loan_cleaned$policy_code <- as.factor(loan_cleaned$policy_code)

• “policy_code”및 “pymnt_plan”변수는 대부분 모든 행에서 하나의 레벨을 가지므로 이를 제거할 수도 있다.

loan_cleaned <- within(loan_cleaned, rm("policy_code", "pymnt_plan"))

- 날짜형 변환

• 날짜 열은 Chr 형식이므로 Date 형식으로 변환한다.

loan_cleaned$earliest_cr_line <- parse_date(loan_cleaned$earliest_cr_line,format =  "%b-%Y")
loan_cleaned$last_credit_pull_d <- parse_date(loan_cleaned$last_credit_pull_d,format =  "%b-%Y")

5.1. Term (대출기간)

대출 상품의 기간은 36개월, 60개월 두 가지가 존재한다. 36개월이 약 70%를 차지한다.

options(repr.plot.width=5, repr.plot.height=3)

term_summary <- loan_cleaned %>% 
  group_by(term) %>%
  summarise(count=n()) %>%
  mutate(pct=count/sum(count)) %>%
  arrange(desc(pct))

kable(term_summary, caption="2x2 Contingency Table on Term.", format="markdown")

#crude_deporate <- deposit_summary$prob[deposit_summary$deposit=="yes"]
  
ggplot(data = term_summary, aes(x = term, y = pct)) +
  geom_bar(stat = "identity", fill = fillColor2) +
  
  geom_text(aes(x = term, y = 0.05, label = paste0("(",round(pct,2)*100, "%)",sep="")),
            hjust=0.5, vjust=.5, size = 4, colour = 'black',
            fontface = 'bold') +
  labs( x = "Term",
        y = "Percent",
        title = "Term Rate of Loan") +
  theme_economist()

5.2. Grade (신용등급)

해당 대출의 신용 위험도에 따라 각 등급(A-E)을 지정한다. B등급과 C등급의 대출금은 전체 대출금의 50% 이상(57%)을 차지한다.

grade_summary <- loan_cleaned %>%
  group_by(grade) %>%
  summarise(count = n()) %>%
  mutate(pct = count/sum(count)) %>%
  arrange(desc(pct))

kable(grade_summary, caption="2x2 Contingency Table on Grade.", format="markdown")

#crude_deporate <- deposit_summary$prob[deposit_summary$deposit=="yes"]
  
ggplot(data = grade_summary, aes(x = reorder(grade, pct), y = pct)) +
  geom_bar(stat = "identity", fill = fillColor2) +
  geom_text(aes(x = grade, y = 0.05, label = paste0("(",round(pct,2)*100, "%)",sep="")),
            hjust=0.5, vjust=.5, size = 4, colour = 'black',
            fontface = 'bold') +
  labs( x = "Grade",
        y = "Percent",
        title = "Grade Rate of Loan")+
  theme_economist()

5.3. Employment Length (재직 기간)

10년 이상 재직한 사람들이 대출을 많이 받는데, 생애주기상 이사나 자녀의 학업을 위해서 자금을 필요로 하는 것 같다.

emp_len_summary <- loan_cleaned %>%
  group_by(emp_length) %>%
  summarise(count=n()) %>%
  mutate(pct=count/sum(count)) %>%
  arrange(desc(pct))

kable(emp_len_summary, caption="2x2 Contingency Table on Employment Length.", format="markdown")

#crude_deporate <- deposit_summary$prob[deposit_summary$deposit=="yes"]
  
ggplot(data = emp_len_summary, aes(x = reorder(emp_length, pct), y = pct)) +
  geom_bar(stat = "identity", fill = fillColor2) +
  geom_text(aes(x = emp_length, y = 0.01, label = paste0("(",round(pct,2)*100, "%)",sep="")),
            hjust=0.5, vjust=.5, size = 4, colour = 'black',
            fontface = 'bold') +
  labs( x = "Employment Length",
        y = "Percent",
        title = "Employment Length Rate of Loan") +
  theme_economist() + coord_flip() 

5.4. Home Ownership (주택 소유 여부)

월세 및 모기지 주택 소유자가 전체 대출의 약 90%를 차지한다.

home_ownership_summary <- loan_cleaned %>%
  group_by(home_ownership) %>%
  summarise(count = n()) %>%
  mutate(pct = count / sum(count)) %>%
  arrange(desc(pct))
  
kable(home_ownership_summary, caption="2x2 Contingency Table on Home Ownership.", format="markdown")

ggplot(data = home_ownership_summary, aes(x = reorder(home_ownership, pct), y = pct)) +
  geom_bar(stat = "identity", fill = fillColor2) +
  geom_text(aes(x = home_ownership, y = 0.01, label = paste0("(",round(pct,2)*100, "%)",sep="")),
            hjust=0.5, vjust=.5, size = 4, colour = 'black',
            fontface = 'bold') +
  labs( x = "Home Ownership",
        y = "Percent",
        title = "Home Ownership Rate of Loan") +
  theme_economist() + coord_flip() 

5.5. Verification Status (수입 상태)

실행된 대출의 30% 이상이 수입 상태에 대해 확인되지 않았다. 검증되지 않은 대출은 추후에 부실 대출을 야기할 가능성이 높다.

vs_summary <- loan_cleaned %>%
  group_by(verification_status) %>%
  summarise(count=n()) %>% 
  mutate(pct=count/sum(count)) %>%
  arrange(desc(pct))

kable(vs_summary, caption="2x2 Contingency Table on Verification Status", format="markdown")

ggplot(data = vs_summary, aes(x = reorder(verification_status, pct), y = pct)) +
  geom_bar(stat = "identity", fill = fillColor2) +
  geom_text(aes(x = verification_status, y = 0.01, label = paste0("(",round(pct,2)*100, "%)",sep="")),
            hjust=0.5, vjust=.5, size = 4, colour = 'black',
            fontface = 'bold') +
  labs( x = "Verification Status",
        y = "Percent",
        title = "Verification Status Rate of Loan") +
  theme_economist() + coord_flip() 

5.6. Purpose (대출 목적)

대출의 60%는 기존의 부채를 정리하기 위해 사용된다.

purpose_summary <- loan_cleaned %>%
  group_by(purpose) %>%
  summarise(count=n()) %>%
  mutate(pct=count/sum(count)) %>%
  arrange(desc(pct))

kable(purpose_summary, caption="2x2 Contingency Table on Purpose", format="markdown")

ggplot(data = purpose_summary, aes(x = reorder(purpose, pct), y = pct)) +
  geom_bar(stat = "identity", fill = fillColor2) +
  geom_text(aes(x = purpose, y = 0.01, label = paste0("(",round(pct,2)*100, "%)",sep="")),
            hjust=0.5, vjust=.5, size = 4, colour = 'black',
            fontface = 'bold') +
  labs( x = "Purpose",
        y = "Percent",
        title = "Purpose Rate of Loan") +
  theme_economist() + coord_flip() 

5.7. State (주)

대출금의 15% 이상이 캘리포니아 주에서 실행되며 뉴욕과 텍사스는 그 뒤를 잇는다(약 7~8%).

state_summary <- loan_cleaned %>%
  group_by(addr_state) %>%
  summarise(count=n()) %>%
  mutate(pct=count/sum(count)) %>%
  arrange(desc(pct))

ggplot(data = state_summary, aes(x = reorder(addr_state, pct), y = pct)) +
  geom_bar(stat = "identity", fill = fillColor2) +
  labs( x = "State",
        y = "Percent",
        title = "State Rate of Loan") +
  theme_economist() + coord_flip()

kable(state_summary, caption="2x2 Contingency Table on State.", format="markdown")

6.1. Loan Ratio by Loan Status (대출 상태별 대출 비율)

default_summary <- loan_cleaned %>%
  group_by(loan_status) %>%
  summarise(cnt = n()) %>%
  mutate(pct = cnt / sum(cnt)) %>%
  arrange(desc(pct))

#crude_defualt_rate <- default_summary$prob[default_summary$loan_status=="yes"]

kable(default_summary, caption="2x2 Contingency Table on Default.", format="markdown")

ggplot(default_summary, aes(x=reorder(loan_status, pct), y=pct, colour=loan_status, fill=loan_status)) +
  geom_bar(stat="identity",aes(color = I('black')), size = 0.1)  +
  labs( x = "Loan_Status",
        y = "Percent",
        title = "Loan Ratio by Loan Status") +
  theme_economist() + guides(fill=FALSE) + coord_flip()

ggplot(loan_cleaned, aes(x =term, fill = loan_status)) +
  geom_bar(stat='count', position='fill', aes(color = I('black')), size = 0.1) +
  labs( x = "Term",
        y = "Percent",
        title = "Loan Ratio by Loan Status") +
  theme_economist()

ggplot(loan_cleaned, aes(x =term, fill = loan_status)) +
  geom_bar(stat='count', position='stack', aes(color = I('black')), size = 0.1) +
  labs( x = "Term",
        y = "Percent",
        title = "Loan Ratio by Loan Status") + 
  theme_economist()

- Bining

• 타겟 변수(Loan_status)에는 10 개의 범주가 있다.
• 부채 상환에 관련된 요인을 알아내는 것이 목표이므로, 정확한 결과를 알 수 있는 ‘Fully Paid’와 ’Charged Off’ 데이터만 고려할 것이다(이진 값을 갖는 새로운 열을 만들어서 fully paid는 1로, charged off는 0으로 변환할 것이다).

bad_indicators <- c("Charged Off",
                    "Default",
                    "Does not meet the credit policy. Status:Charged Off",
                    "In Grace Period", 
                    "Default Receiver", 
                    "Late (16-30 days)",
                    "Late (31-120 days)")

#loan_cleaned$loan_status_yn <- ifelse(loan_cleaned$loan_status %in% bad_indicators, 1, 0)
loan_cleaned$loan_status <- ifelse(loan_cleaned$loan_status %in% bad_indicators, "Bad", "Good")

loan_cleaned <- filter(loan_cleaned, loan_cleaned$loan_status == "Bad" | loan_cleaned$loan_status == "Good")

loan_cleaned <- mutate(loan_cleaned, binary_status=as.numeric(ifelse(loan_cleaned$loan_status == "Bad", 0, 1)))

#loan_cleaned <- filter(loan_cleaned, loan_cleaned$loan_status == "Fully Paid" | loan_cleaned$loan_status == "Charged Off" | loan_cleaned$loan_status == "Default")

#loan_cleaned <- mutate(loan_cleaned, binary_status=as.numeric(ifelse(loan_cleaned$loan_status == "Fully Paid", 1, 0)))

#head(loan_cleaned)
#kable(head(loan_cleaned, 5))

6.2. Default with respect to Term (기간별 채무 불이행 비율)

36개월로 설정한 대출보다 60개월로 설정한 대출의 채무 불이행이 조금 더 높은 비율을 차지한다.

ggplot(loan_cleaned, aes(x = term, fill = loan_status)) +
  geom_bar(stat='count', position='fill', aes(color = I('black')), size = 0.1) +
  labs( x = "Term",
        y = "Percent",
        title = "Default with respect to Term") + 
  theme_economist()

ggplot(loan_cleaned, aes(x = term, fill = loan_status)) +
  geom_bar(stat='count', position ='stack', aes(color = I('black')), size = 0.1) +
  labs( x = "Term",
        y = "Percent",
        title = "Default with respect to Term") + 
  theme_economist()

6.3. Default with respect to Grade (등급별 채무 불이행 비율)

등급이 내려갈수록 채무 불이행의 위험도가 증가하는 것을 확인할 수 있다.

ggplot(loan_cleaned, aes(x = grade, fill = loan_status)) +
  geom_bar(stat='count', position='fill', aes(color = I('black')), size = 0.1) +
  labs( x = "Grade",
        y = "Percent",
        title = "Default with respect to Grade") + 
  scale_fill_discrete(name="Loan_Status") + theme_economist()

ggplot(loan_cleaned, aes(x = grade, fill = loan_status)) +
  geom_bar(stat='count', position='stack', aes(color = I('black')), size = 0.1) +
  labs( x = "Grade",
        y = "Percent",
        title = "Default with respect to Grade") + 
  scale_fill_discrete(name="Loan_Status") + theme_economist()

6.4. Default with respect to Employee Length (재직 기간별 채무 불이행 비율)

재직 기간에 따른 대출 위험도의 유의미한 차이는 발견하지 못했다(거의 유사한 패턴을 보인다).

ggplot(filter(loan_cleaned, emp_length != 'n/a'), aes(x =emp_length, fill = loan_status)) +
  geom_bar(stat='count', position='fill', aes(color = I('black')), size = 0.1) +
  labs( x = "emp_length",
        y = "Percent",
        title = "Default with respect to Employee Length") + 
  scale_fill_discrete(name="Loan_Status") + 
  theme(axis.text.x = element_text(angle = 45, vjust = 0.8, hjust=1)) +
  theme_economist()

ggplot(filter(loan_cleaned, emp_length != 'n/a'), aes(x =emp_length, fill = loan_status)) +
  geom_bar(stat='count', position='stack', aes(color = I('black')), size = 0.1) +
  labs( x = "emp_length",
        y = "Percent",
        title = "Default with respect to Employee Length") + 
  scale_fill_discrete(name="Loan_Status") + 
  theme(axis.text.x = element_text(angle = 45, vjust = 0.8, hjust=1)) +
  theme_economist()

6.5. Default with respect to Home Ownership (자가 여부에 따른 채무 불이행 비율)

기타 형태의 주거 생활을하는 채무자의 채무 불이행 비율이 높다.

ggplot(loan_cleaned, aes(x =home_ownership, fill = loan_status)) + 
  geom_bar(stat='count', position='fill', aes(color = I('black')), size = 0.1) +
  labs( x = "home_ownership",
        y = "Percent",
        title = "Default with respect to Home Ownership") +
  scale_fill_discrete(name="Loan_Status") +
  theme_economist()

ggplot(loan_cleaned, aes(x =home_ownership, fill = loan_status)) + 
  geom_bar(stat='count', position='stack', aes(color = I('black')), size = 0.1) +
  labs( x = "home_ownership",
        y = "Percent",
        title = "Default with respect to Home Ownership") +
  scale_fill_discrete(name="Loan_Status") +
  theme_economist()

6.6. Verification status with respect to default (수입 상태에 따른 채무 불이행 비율)

수입이 확인되지 않은 상태보다 확인된 상태의 채무 불이행 비율이 더 높다.

ggplot(loan_cleaned, aes(x =verification_status, fill = loan_status)) + 
  geom_bar(stat='count', position='fill', aes(color = I('black')), size = 0.1) +
  labs( x = "Verification_status",
        y = "Percent",
        title = "Verification status with respect to default") +
  theme_economist()

ggplot(loan_cleaned, aes(x =verification_status, fill = loan_status)) + 
  geom_bar(stat='count', position='stack', aes(color = I('black')), size = 0.1) +
  labs( x = "Verification_status",
        y = "Percent",
        title = "Verification status with respect to default") +
  theme_economist()

6.7. Purpose of Loan with respect to Default (대출 목적에 따른 채무 불이행 비율)

Educational(21%)과 Small Business(17%)의 채무 불이행 비율이 다른 대출 목적에 비해 높다.

purpose_summary_2 <- loan_cleaned %>%
  group_by(purpose) %>%
  summarise(pct = (1-sum(binary_status)/n())) %>%
  arrange(desc(pct))

kable(purpose_summary_2, format="markdown")

ggplot(data = purpose_summary_2, aes(x = reorder(purpose, pct), y = pct)) +
  geom_bar(stat = "identity", fill = fillColor2, aes(color = I('black')), size = 0.1) +
   labs( x = "Purpose",
        y = "Percent",
        title = "Purpose of Loan with respect to Default") +
  theme_economist() + coord_flip()

6.8. State with respect to default (지역에 따른 채무 불이행 비율)

테네시(Tenesse) 주의 채무 불이행의 비율(20%)이 다른 지역에 비해 상대적으로 높다.

state_summary <- loan_cleaned %>%
  group_by(addr_state) %>%
  summarise(pct = (1-sum(binary_status)/n()))

ggplot(data = state_summary, aes(x = reorder(addr_state, pct), y = pct)) +
  geom_bar(stat = "identity", fill = fillColor2, aes(color = I('white')), size = 0.1) +
  labs( x = "States",
        y = "Percent",
        title = "State of Loan with respect to Default") +
  theme_economist() + coord_flip()

6.9. Loan Amount and Loan Status (대출액과 대출 상태 시각화 비교)

대출 금액이 10,000달러 이상일 때부터, 채무불이행이 발생할 수 있다.

ggplot(loan_cleaned, aes(x= loan_amnt)) +
  geom_density(aes(fill = as.factor(loan_status))) +
  xlab("Loan_amount") + theme_economist()

6.10. Interest Rate and Loan Status (이자율에 따른 채무 불이행 비율)

높은 이자율은(즉, 낮은 신용 등급을 가진 사람들은) 채무 불이행의 위험도가 높다.

ggplot(loan_cleaned, aes(x= int_rate, fill = loan_status)) +
geom_histogram(bins = 10, position = "fill", aes(color = I('black')), size = 0.1)+ 
xlab("Interest Rate")+ 
ylab("Percent of default Vs No default")+theme_few()

ggplot(loan_cleaned, aes(x = loan_status, y = int_rate, fill = loan_status)) + geom_boxplot()

6.11. Credit History (신용 활동 기간에 따른 채무 불이행 비율)

신용 활동 기간이 길수록 금리가 줄어들고, 채무 불이행의 위험도가 낮아진다.

loan_cleaned <- mutate(loan_cleaned, credit_history.d = year(earliest_cr_line))
loan_cleaned <- mutate(loan_cleaned, pull.d = year(last_credit_pull_d))

# Credit History Grouping
loan_cleaned <- mutate(loan_cleaned, cr_hist = pull.d-credit_history.d)
loan_cleaned <- mutate(loan_cleaned, cr_hist_grp = cr_hist)
loan_cleaned$cr_hist_grp[loan_cleaned$cr_hist <= 5] <- '<5_yrs'
loan_cleaned$cr_hist_grp[loan_cleaned$cr_hist > 5 & loan_cleaned$cr_hist <= 10] <- '5-10_yrs'
loan_cleaned$cr_hist_grp[loan_cleaned$cr_hist > 10 & loan_cleaned$cr_hist <= 15] <- '10-15_yrs'
loan_cleaned$cr_hist_grp[loan_cleaned$cr_hist > 15 & loan_cleaned$cr_hist <= 20] <- '15-20_yrs'
loan_cleaned$cr_hist_grp[loan_cleaned$cr_hist > 20] <- '>20_yrs'

ggplot(filter(loan_cleaned,cr_hist != "NA") , aes(x= reorder(cr_hist_grp, cr_hist), fill = loan_status)) + 
  geom_bar(position = "fill", aes(color = I('black')), size = 0.1) +
  xlab("Credit_History_Length") +
  ylab("Percent") +
  theme(axis.text.x = element_text(angle = 20, vjust = 0.8, hjust=1)) +
  theme_economist()

6.12. Income Group (소득에 따른 채무 불이행 비율)

소득이 낮을수록 채무 불이행의 위험도는 증가한다.

loan_cleaned <- mutate(loan_cleaned, inc_grp = annual_inc)

loan_cleaned$inc_grp[loan_cleaned$annual_inc <= 50000] <- "verylow_inc"
loan_cleaned$inc_grp[loan_cleaned$annual_inc > 50000 & loan_cleaned$annual_inc <= 80000] <- 'low_inc'
loan_cleaned$inc_grp[loan_cleaned$annual_inc > 80000 & loan_cleaned$annual_inc <= 120000] <- 'middle_inc'
loan_cleaned$inc_grp[loan_cleaned$annual_inc > 120000 & loan_cleaned$annual_inc <= 240000] <- 'high_inc'
loan_cleaned$inc_grp[loan_cleaned$annual_inc > 240000] <- 'veryhigh_inc'

ggplot(loan_cleaned, aes(x= reorder(inc_grp, annual_inc), fill = loan_status, order = loan_status)) +
  geom_bar(position = "fill", aes(color = I('black')), size = 0.1) +
  xlab("Income_groups") +
  ylab("Percent of default Vs No default") +
  theme(axis.text.x = element_text(angle = 20, vjust = 0.8, hjust=1)) +
  theme_economist()

6.13. Loan amount distribution (대출금액 분포)

Desc(df$loan_amnt, main = "Loan amount distribution", plotit = TRUE)

## ------------------------------------------------------------------------- 
## Loan amount distribution
## 
##      length         n       NAs     unique         0s       mean
##     887'379   887'379         0      1'372          0  14'755.26
##                100.0%      0.0%                  0.0%           
##                                                                 
##         .05       .10       .25     median        .75        .90
##    3'600.00  5'000.00  8'000.00  13'000.00  20'000.00  28'000.00
##                                                                 
##       range        sd     vcoef        mad        IQR       skew
##   34'500.00  8'435.46      0.57   8'599.08  12'000.00       0.68
##                                                                 
##      meanCI
##   14'737.71
##   14'772.82
##            
##         .95
##   32'000.00
##            
##        kurt
##       -0.26
##            
## lowest : 500.0 (11), 550.0, 600.0 (6), 700.0 (3), 725.0
## highest: 34'900.0 (14), 34'925.0 (9), 34'950.0 (18), 34'975.0 (31), 35'000.0 (36'368)

6.14. Year of Loan Issue (년도/등급별 대출 현황)

#df$issue_d <- parse_date_time(gsub("^", "01-", df$issue_d), orders = c("d-m-y", "d-B-Y", "m/d/y"))
df$issue_d <- as.Date(gsub("^", "01-", df$issue_d), format="%d-%b-%Y")

df$issue_year <- year(as.yearmon(df$issue_d,"%b-%Y"))

d <- sqldf("
  select
    avg(loan_amnt) as avg_amnt
    , grade
    , issue_year
  from df
  group by grade, issue_year
")

g <- ggplot(d, aes(x = issue_year , y = avg_amnt, color = grade)) +
  geom_line(alpha = 0.4) +
  labs(x = "Year of Loan Issue", y = "Average of Loan Amount issued", title = "Year of Loan Issue") +
  theme_economist()

ggplotly(g, tooltip = c("grade"))

#df$issue_d <- as.Date(gsub("^", "01-", df$issue_d), format="%d-%b-%Y")
#df$issue_year <- year(as.yearmon(df$issue_d,"%b-%Y"))

d <- sqldf("
  select
    grade
    , issue_year
    , count(*) as freq
  from df
  group by 1, 2
")

head(d)

##   grade issue_year  freq
## 1     A       2007    78
## 2     A       2008   318
## 3     A       2009  1203
## 4     A       2010  2830
## 5     A       2011  5754
## 6     A       2012 10901

g <- ggplot(d, aes(x = issue_year , y = freq, color = grade)) +
  geom_line(alpha = 0.4) +
  labs(x = "Year of Loan Issue", y = "Count of Loan issued", title = "Year of Loan Issue") +
  theme_economist()

ggplotly(g, tooltip = c("grade"))

6.15. Loans Amount Distribution by Loan Status (대출 상태별 대출금 분포)

box_status <- ggplot(df, aes(loan_status, loan_amnt))
box_status +
#  geom_boxplot(aes(fill = loan_status)) +
  geom_boxplot(fill = fillColor2) +
  theme(#axis.text.x = element_text(angle=90, hjust = 1),
        axis.text.x=element_blank(),
        legend.position="null") +
  labs(list(
    title = "Loans by Loan Status",
    x = "Loan Status",
    y = "Loan")) +
  theme_economist() +
  guides(fill=FALSE) +
  coord_flip()