Prediksi Rating Skema Pinjaman dengan Neural network
Data
Dataset yang digunakan adalah data dari suatu perusahaan perbank-kan yang meneliti 75 jenis skema pinjaman yang telah diberi rating oleh para customernya. Terdapat 1 peubah respons (output) dan 5 peubah bebas (input), yaitu:
- Rating Skema Pinjaman (dalam %) (Peubah Respons)
- Besar pinjaman (dalam juta rupiah)
- Lama pembayaran (dalam tahun)
- Tambahan bunga yang ditetapkan (dalam %)
- Pembayaran per bulan (dalam 10000)
- Banyak cash back (dalam juta rupiah)
## 'data.frame': 75 obs. of 6 variables:
## $ besar.pinjaman : int 70 120 70 50 110 110 130 90 90 120 ...
## $ lama.pembayaran : int 4 3 4 4 2 2 3 2 3 1 ...
## $ bunga : int 1 5 1 0 2 0 2 1 0 2 ...
## $ pembayaran.per.bulan: int 130 15 260 140 180 125 210 200 210 220 ...
## $ banyak.cash.back : num 10 2 9 14 1.5 1 2 4 5 0 ...
## $ rating : num 68.4 34 59.4 93.7 29.5 ...
Artificial Neural Network (ANN)
Splitting and Scaling Data
Data dibagi menjadi data train (80%) dan data test (20%) untuk validasi model. Selain itu, setiap peubah bebas memiliki skala yang berbeda-beda sehingga diperlukan standardisasi agar setiap peubah bebas memiliki tingkat kepentingan yang setara.
library(caret)
set.seed(73)
# Train-Testing Split
train.index <- createDataPartition(data$rating, p = 0.8, list = F)
train <- data[train.index, ]
test <- data[-train.index, ]
# Feature Scaling (Min-Max)
preprocessParams <- preProcess(train[, -6], method = "range")
train_X <- as.matrix(predict(preprocessParams, train[, -6]))
test_X <- as.matrix(predict(preprocessParams, test[, -6]))
train_y <- (train[, 6])
test_y <- (test[, 6])Pemodelan
Pengaturan model menggunakan 4 hidden layer dengan masing-masing layer memiliki 64 neuron. Kemudian, dropout pada masing-masing layer dengan rate=0.2 untuk menghindari overfitting. Selain itu, output layer menggunakan fungsi aktivasi linear dengan 1 neuron karena peubah respon berupa numerik.
Kompilasi model yang digunakan adalah MSE (Mean Squared Error) untuk loss, optimizer menggunakan adam, sedangkan metrics menggunakan MAE (Mean Absolute Error) dan MAPE (Mean Absolute Percentage Error).
model <- NULL
set_random_seed(73)
model <- keras_model_sequential() %>%
layer_dense(units = 64, activation = "relu", input_shape = ncol(train_X)) %>%
layer_dropout(0.2) %>%
layer_dense(units = 64, activation = "relu") %>%
layer_dropout(0.2) %>%
layer_dense(units = 64, activation = "relu") %>%
layer_dropout(0.2) %>%
layer_dense(units = 64, activation = "relu") %>%
layer_dropout(0.2) %>%
layer_dense(units = 1, activation = "linear")
#Mengkompilasi model
model %>% compile(
loss = "MSE",
optimizer = "adam",
metrics = list("MAE", "MAPE")
)
# Melakukan tahapan pelatihan model
history <- model %>% fit(
train_X, train_y,
shuffle = T,
epochs = 50,
batch_size = 32,
validation_split = 0.2,
verbose=0
)
print(model)## Model: "sequential"
## ________________________________________________________________________________
## Layer (type) Output Shape Param #
## ================================================================================
## dense_4 (Dense) (None, 64) 384
## dropout_3 (Dropout) (None, 64) 0
## dense_3 (Dense) (None, 64) 4160
## dropout_2 (Dropout) (None, 64) 0
## dense_2 (Dense) (None, 64) 4160
## dropout_1 (Dropout) (None, 64) 0
## dense_1 (Dense) (None, 64) 4160
## dropout (Dropout) (None, 64) 0
## dense (Dense) (None, 1) 65
## ================================================================================
## Total params: 12929 (50.50 KB)
## Trainable params: 12929 (50.50 KB)
## Non-trainable params: 0 (0.00 Byte)
## ________________________________________________________________________________
Berdasarkan plot, terlihat bahwa nilai loss/MSE, MAE, dan MAPE menurun saat meningkatnya epoch. Kemudian titik validasi (hijau) terletak cukup dekat dengan titik training (merah) yang artinya tidak terjadi overfitting atau underfitting pada model. Nilai MSE, MAE, dan MAPE mulai tidak mengalami penurunan signifikan pada rentang epoch 30-35.
Prediksi
## prediksi aktual
## 1 35.28201 33.17409
## 2 35.93266 18.04285
## 3 42.06388 41.44502
## 4 45.57826 40.44877
## 5 38.53711 23.80404
## 6 43.35592 52.07690
plot(1:length(prediksi), prediksi, type='o', col="red", ylim=c(10,80), main = "Perbandingan Data Test: Prediksi dan Aktual", xlab="Index"); lines(test_y, col="blue", type='o')
legend("topleft", legend=c("Aktual", "Prediksi"), lty=c(1,1), col=c("blue", "red"))Berdasarkan plot, terlihat bahwa prediksi data test hasil pemodelan tidak mendekati nilai aktualnya.
Evaluasi Model
keras_train <- model %>% predict(train_X, verbose = 0)
keras_test <- model %>% predict(test_X, verbose = 0)
data.frame(cbind(Data=c("Train", "Test"),rbind(postResample(keras_train[,1], train$rating),postResample(keras_test[,1], test$rating))))## Data RMSE Rsquared MAE
## 1 Train 13.380208112132 0.135070833630741 9.6737707022802
## 2 Test 14.2824046100597 0.0859665957560175 10.7273195617269
Dapat terlihat bahwa nilai RMSE (Root Mean Square Error) maupun MAE lebih dari 10, artinya model belum cukup baik. Adapun nilai \(R^2\)sebesar 13.5% pada data training dan 8.6% pada data testing. Artinya, model hanya dapat menjelaskan 13.5% keragaman rating pada data train atau 8.6% keragaman rating pada data test. Nilai ini masih relatif rendah dalam pemodelan sehingga akan dilakukan hyperparameter tuning untuk mendapatkan parameter terbaik.
Hyperparameter Tuning
Parameter yang diuji adalah banyak neuron sebesar 8, 16, 32, 64, 128, 256, dan 512 sedangkan dropout rate sebesar 0.2 dan 0.3. Model dengan parameter terbaik dilihat berdasarkan nilai \(R^2\) dengan tetap memperhatikan nilai RMSE dan MAE.
compare <- data.frame(numeric(0))
model <- NULL
for(n in c(2^(3:9))){
for(c in c(0.2,0.3)){
set_random_seed(73)
model <- keras_model_sequential() %>%
layer_dense(units = n, activation = "relu", input_shape = ncol(train_X)) %>%
layer_dropout(c) %>%
layer_dense(units = n, activation = "relu") %>%
layer_dropout(c) %>%
layer_dense(units = n, activation = "relu") %>%
layer_dropout(c) %>%
layer_dense(units = n, activation = "relu") %>%
layer_dropout(c) %>%
layer_dense(units = 1, activation = "linear")
# Mengkompilasi model
model %>% compile(
loss = "MSE",
optimizer = "adam",
metrics = list("MSE", "MAE")
)
# Melakukan tahapan pelatihan model
model %>% fit(
train_X, train_y,
shuffle = T,
epochs = 50,
batch_size = 32,
validation_split = 0.2,
verbose=0
)
keras_train <- model %>% predict(train_X, verbose = 0)
compare <- rbind(compare, c(n, c, postResample(keras_train[,1], train$rating)))
model <- NULL
}
}
colnames(compare) <- c("n", "c", "RMSE", "Rsquared", "MAE")
compare[order(-compare[,4]),]## n c RMSE Rsquared MAE
## 13 512 0.2 5.201506 0.859307462 4.238776
## 14 512 0.3 5.355456 0.851122123 4.369671
## 11 256 0.2 6.029656 0.819063500 4.984017
## 12 256 0.3 6.488222 0.810740049 5.331232
## 9 128 0.2 9.705595 0.618764674 7.317775
## 10 128 0.3 10.272575 0.571799949 7.601697
## 1 8 0.2 43.676343 0.371825204 41.436147
## 2 8 0.3 43.735502 0.370943196 41.501292
## 4 16 0.3 40.917944 0.163509832 38.476184
## 3 16 0.2 40.278909 0.142082444 37.783801
## 7 64 0.2 13.380208 0.135070834 9.673771
## 8 64 0.3 13.910809 0.090798094 9.907952
## 6 32 0.3 16.328703 0.006809063 11.797451
## 5 32 0.2 16.322442 0.003995120 12.411882
Dari tabel di atas, terlihat bahwa \(R^2\) terbesar yaitu 85.9% dimiliki model dengan banyak neuron sebesar 512 dan dropout rate sebesar 0.2. Model ini memiliki nilai RMSE dan MAE terkecil dan di bawah 10 pula sehingga terpilih sebagai model terbaik.
Pemodelan dengan Parameter Terbaik
model <- NULL
set_random_seed(73)
model <- keras_model_sequential() %>%
layer_dense(units = 512, activation = "relu", input_shape = ncol(train_X)) %>%
layer_dropout(0.2) %>%
layer_dense(units = 512, activation = "relu") %>%
layer_dropout(0.2) %>%
layer_dense(units = 512, activation = "relu") %>%
layer_dropout(0.2) %>%
layer_dense(units = 512, activation = "relu") %>%
layer_dropout(0.2) %>%
layer_dense(units = 1, activation = "linear")
model %>% compile(
loss = "MSE",
optimizer = "adam",
metrics = list("MSE", "MAE")
)
history <- model %>% fit(
train_X, train_y,
shuffle = T,
epochs = 50,
batch_size = 32,
validation_split = 0.2,
verbose=0
)
# Validasi
keras_train <- model %>% predict(train_X, verbose = 0)
keras_test <- model %>% predict(test_X, verbose = 0)
data.frame(cbind(Data=c("Train", "Test"),rbind(postResample(keras_train[,1], train$rating),postResample(keras_test[,1], test$rating))))## Data RMSE Rsquared MAE
## 1 Train 5.2015061519976 0.859307461761843 4.23877639466107
## 2 Test 7.47896500303615 0.851888784271946 6.78284745540365
Pemodelan menggunakan 4 hidden layer dengan banyak neuron yang diuji sebesar 512 dan dropout rate sebesar 0.2 menghasilkan \(R^2\) pada data train sebesar 85.9% serta \(R^2\) pada data test sebesar 85.1%. Artinya, model dapat menjelaskan sebesar 85.9% keragaman pada data train peubah rating atau 85.1% keragaman pada data test peubah rating. Nilai ini lebih tinggi jika dibandingkan dengan nilai sebelum hyperparameter tuning, yaitu sebesar 13.5% atau 8.6%.
Prediksi
## prediksi aktual
## 1 38.91007 33.17409
## 2 25.04937 18.04285
## 3 40.44269 41.44502
## 4 36.24284 40.44877
## 5 31.98726 23.80404
## 6 42.33560 52.07690
plot(1:length(prediksi), prediksi, type='o', col="red", ylim=c(10,80), main = "Perbandingan Data Test: Prediksi dan Aktual", xlab="Index"); lines(test_y, col="blue", type='o')
legend("topleft", legend=c("Aktual", "Prediksi"), lty=c(1,1), col=c("blue", "red"))
Berdasarkan plot, terlihat bahwa data prediksi hasil pemodelan sudah
cukup baik dalam memprediksi rating jika dibandingkan nilai
aktualnya.