Prediksi Rating Skema Pinjaman dengan Neural network

Data

Dataset yang digunakan adalah data dari suatu perusahaan perbank-kan yang meneliti 75 jenis skema pinjaman yang telah diberi rating oleh para customernya. Terdapat 1 peubah respons (output) dan 5 peubah bebas (input), yaitu:

  • Rating Skema Pinjaman (dalam %) (Peubah Respons)
  • Besar pinjaman (dalam juta rupiah)
  • Lama pembayaran (dalam tahun)
  • Tambahan bunga yang ditetapkan (dalam %)
  • Pembayaran per bulan (dalam 10000)
  • Banyak cash back (dalam juta rupiah)
data <- read.csv("data ann.csv")
str(data)
## 'data.frame':    75 obs. of  6 variables:
##  $ besar.pinjaman      : int  70 120 70 50 110 110 130 90 90 120 ...
##  $ lama.pembayaran     : int  4 3 4 4 2 2 3 2 3 1 ...
##  $ bunga               : int  1 5 1 0 2 0 2 1 0 2 ...
##  $ pembayaran.per.bulan: int  130 15 260 140 180 125 210 200 210 220 ...
##  $ banyak.cash.back    : num  10 2 9 14 1.5 1 2 4 5 0 ...
##  $ rating              : num  68.4 34 59.4 93.7 29.5 ...

Artificial Neural Network (ANN)

Splitting and Scaling Data

Data dibagi menjadi data train (80%) dan data test (20%) untuk validasi model. Selain itu, setiap peubah bebas memiliki skala yang berbeda-beda sehingga diperlukan standardisasi agar setiap peubah bebas memiliki tingkat kepentingan yang setara.

library(caret)
set.seed(73)

# Train-Testing Split
train.index <- createDataPartition(data$rating, p = 0.8, list = F)
train <- data[train.index, ]
test <- data[-train.index, ]

# Feature Scaling (Min-Max)
preprocessParams <- preProcess(train[, -6], method = "range")
train_X <- as.matrix(predict(preprocessParams, train[, -6]))
test_X <- as.matrix(predict(preprocessParams, test[, -6]))

train_y <- (train[, 6])
test_y <- (test[, 6])

Pemodelan

library(keras)
library(tensorflow)

Pengaturan model menggunakan 4 hidden layer dengan masing-masing layer memiliki 64 neuron. Kemudian, dropout pada masing-masing layer dengan rate=0.2 untuk menghindari overfitting. Selain itu, output layer menggunakan fungsi aktivasi linear dengan 1 neuron karena peubah respon berupa numerik.

Kompilasi model yang digunakan adalah MSE (Mean Squared Error) untuk loss, optimizer menggunakan adam, sedangkan metrics menggunakan MAE (Mean Absolute Error) dan MAPE (Mean Absolute Percentage Error).

model <- NULL
set_random_seed(73)
model <- keras_model_sequential() %>%
  layer_dense(units = 64, activation = "relu", input_shape = ncol(train_X)) %>%
  layer_dropout(0.2) %>%
  layer_dense(units = 64, activation = "relu") %>%
  layer_dropout(0.2) %>%
  layer_dense(units = 64, activation = "relu") %>%
  layer_dropout(0.2) %>%
  layer_dense(units = 64, activation = "relu") %>%
  layer_dropout(0.2) %>%
  layer_dense(units = 1, activation = "linear")


#Mengkompilasi model
model %>% compile(
  loss = "MSE",
  optimizer = "adam",
  metrics = list("MAE", "MAPE")
)

# Melakukan tahapan pelatihan model
history <- model %>% fit(
  train_X, train_y,
  shuffle = T,
  epochs = 50,
  batch_size = 32,
  validation_split = 0.2,
  verbose=0
)

print(model)
## Model: "sequential"
## ________________________________________________________________________________
##  Layer (type)                       Output Shape                    Param #     
## ================================================================================
##  dense_4 (Dense)                    (None, 64)                      384         
##  dropout_3 (Dropout)                (None, 64)                      0           
##  dense_3 (Dense)                    (None, 64)                      4160        
##  dropout_2 (Dropout)                (None, 64)                      0           
##  dense_2 (Dense)                    (None, 64)                      4160        
##  dropout_1 (Dropout)                (None, 64)                      0           
##  dense_1 (Dense)                    (None, 64)                      4160        
##  dropout (Dropout)                  (None, 64)                      0           
##  dense (Dense)                      (None, 1)                       65          
## ================================================================================
## Total params: 12929 (50.50 KB)
## Trainable params: 12929 (50.50 KB)
## Non-trainable params: 0 (0.00 Byte)
## ________________________________________________________________________________
plot(history)

Berdasarkan plot, terlihat bahwa nilai loss/MSE, MAE, dan MAPE menurun saat meningkatnya epoch. Kemudian titik validasi (hijau) terletak cukup dekat dengan titik training (merah) yang artinya tidak terjadi overfitting atau underfitting pada model. Nilai MSE, MAE, dan MAPE mulai tidak mengalami penurunan signifikan pada rentang epoch 30-35.

Prediksi

prediksi <- predict(model, test_X, verbose = 0)
head(data.frame(prediksi=prediksi, aktual=test_y))
##   prediksi   aktual
## 1 35.28201 33.17409
## 2 35.93266 18.04285
## 3 42.06388 41.44502
## 4 45.57826 40.44877
## 5 38.53711 23.80404
## 6 43.35592 52.07690
plot(1:length(prediksi), prediksi, type='o', col="red", ylim=c(10,80), main = "Perbandingan Data Test: Prediksi dan Aktual", xlab="Index"); lines(test_y, col="blue", type='o')
legend("topleft", legend=c("Aktual", "Prediksi"), lty=c(1,1), col=c("blue", "red"))

Berdasarkan plot, terlihat bahwa prediksi data test hasil pemodelan tidak mendekati nilai aktualnya.

Evaluasi Model

keras_train <- model %>% predict(train_X, verbose = 0)
keras_test <- model %>% predict(test_X, verbose = 0)

data.frame(cbind(Data=c("Train", "Test"),rbind(postResample(keras_train[,1], train$rating),postResample(keras_test[,1], test$rating))))
##    Data             RMSE           Rsquared              MAE
## 1 Train  13.380208112132  0.135070833630741  9.6737707022802
## 2  Test 14.2824046100597 0.0859665957560175 10.7273195617269

Dapat terlihat bahwa nilai RMSE (Root Mean Square Error) maupun MAE lebih dari 10, artinya model belum cukup baik. Adapun nilai \(R^2\)sebesar 13.5% pada data training dan 8.6% pada data testing. Artinya, model hanya dapat menjelaskan 13.5% keragaman rating pada data train atau 8.6% keragaman rating pada data test. Nilai ini masih relatif rendah dalam pemodelan sehingga akan dilakukan hyperparameter tuning untuk mendapatkan parameter terbaik.

Hyperparameter Tuning

Parameter yang diuji adalah banyak neuron sebesar 8, 16, 32, 64, 128, 256, dan 512 sedangkan dropout rate sebesar 0.2 dan 0.3. Model dengan parameter terbaik dilihat berdasarkan nilai \(R^2\) dengan tetap memperhatikan nilai RMSE dan MAE.

compare <- data.frame(numeric(0))
model <- NULL
for(n in c(2^(3:9))){
  for(c in c(0.2,0.3)){
    set_random_seed(73)
      model <- keras_model_sequential() %>%
      layer_dense(units = n, activation = "relu", input_shape = ncol(train_X)) %>%
      layer_dropout(c) %>%
      layer_dense(units = n, activation = "relu") %>%
      layer_dropout(c) %>%
      layer_dense(units = n, activation = "relu") %>%
      layer_dropout(c) %>%
      layer_dense(units = n, activation = "relu") %>%
      layer_dropout(c) %>%
      layer_dense(units = 1, activation = "linear")
    
    # Mengkompilasi model
    model %>% compile(
      loss = "MSE",
      optimizer = "adam",
      metrics = list("MSE", "MAE")
    )
    
    # Melakukan tahapan pelatihan model
    model %>% fit(
      train_X, train_y,
      shuffle = T,
      epochs = 50,
      batch_size = 32,
      validation_split = 0.2,
      verbose=0
    )
    keras_train <- model %>% predict(train_X, verbose = 0)
    compare <- rbind(compare, c(n, c, postResample(keras_train[,1], train$rating)))
    model <- NULL
  }
}
colnames(compare) <- c("n", "c", "RMSE", "Rsquared", "MAE")
compare[order(-compare[,4]),]
##      n   c      RMSE    Rsquared       MAE
## 13 512 0.2  5.201506 0.859307462  4.238776
## 14 512 0.3  5.355456 0.851122123  4.369671
## 11 256 0.2  6.029656 0.819063500  4.984017
## 12 256 0.3  6.488222 0.810740049  5.331232
## 9  128 0.2  9.705595 0.618764674  7.317775
## 10 128 0.3 10.272575 0.571799949  7.601697
## 1    8 0.2 43.676343 0.371825204 41.436147
## 2    8 0.3 43.735502 0.370943196 41.501292
## 4   16 0.3 40.917944 0.163509832 38.476184
## 3   16 0.2 40.278909 0.142082444 37.783801
## 7   64 0.2 13.380208 0.135070834  9.673771
## 8   64 0.3 13.910809 0.090798094  9.907952
## 6   32 0.3 16.328703 0.006809063 11.797451
## 5   32 0.2 16.322442 0.003995120 12.411882

Dari tabel di atas, terlihat bahwa \(R^2\) terbesar yaitu 85.9% dimiliki model dengan banyak neuron sebesar 512 dan dropout rate sebesar 0.2. Model ini memiliki nilai RMSE dan MAE terkecil dan di bawah 10 pula sehingga terpilih sebagai model terbaik.

Pemodelan dengan Parameter Terbaik

model <- NULL
set_random_seed(73)
model <- keras_model_sequential() %>%
  layer_dense(units = 512, activation = "relu", input_shape = ncol(train_X)) %>%
  layer_dropout(0.2) %>%
  layer_dense(units = 512, activation = "relu") %>%
  layer_dropout(0.2) %>%
  layer_dense(units = 512, activation = "relu") %>%
  layer_dropout(0.2) %>%
  layer_dense(units = 512, activation = "relu") %>%
  layer_dropout(0.2) %>%
  layer_dense(units = 1, activation = "linear")
model %>% compile(
  loss = "MSE",
  optimizer = "adam",
  metrics = list("MSE", "MAE")
)
history <- model %>% fit(
  train_X, train_y,
  shuffle = T,
  epochs = 50,
  batch_size = 32,
  validation_split = 0.2,
  verbose=0
)

# Validasi
keras_train <- model %>% predict(train_X, verbose = 0)
keras_test <- model %>% predict(test_X, verbose = 0)

data.frame(cbind(Data=c("Train", "Test"),rbind(postResample(keras_train[,1], train$rating),postResample(keras_test[,1], test$rating))))
##    Data             RMSE          Rsquared              MAE
## 1 Train  5.2015061519976 0.859307461761843 4.23877639466107
## 2  Test 7.47896500303615 0.851888784271946 6.78284745540365

Pemodelan menggunakan 4 hidden layer dengan banyak neuron yang diuji sebesar 512 dan dropout rate sebesar 0.2 menghasilkan \(R^2\) pada data train sebesar 85.9% serta \(R^2\) pada data test sebesar 85.1%. Artinya, model dapat menjelaskan sebesar 85.9% keragaman pada data train peubah rating atau 85.1% keragaman pada data test peubah rating. Nilai ini lebih tinggi jika dibandingkan dengan nilai sebelum hyperparameter tuning, yaitu sebesar 13.5% atau 8.6%.

Prediksi

prediksi <- predict(model, test_X, verbose = 0)
head(data.frame(prediksi=prediksi, aktual=test_y))
##   prediksi   aktual
## 1 38.91007 33.17409
## 2 25.04937 18.04285
## 3 40.44269 41.44502
## 4 36.24284 40.44877
## 5 31.98726 23.80404
## 6 42.33560 52.07690
plot(1:length(prediksi), prediksi, type='o', col="red", ylim=c(10,80), main = "Perbandingan Data Test: Prediksi dan Aktual", xlab="Index"); lines(test_y, col="blue", type='o')
legend("topleft", legend=c("Aktual", "Prediksi"), lty=c(1,1), col=c("blue", "red"))

Berdasarkan plot, terlihat bahwa data prediksi hasil pemodelan sudah cukup baik dalam memprediksi rating jika dibandingkan nilai aktualnya.