Members

M. Alfayed Safaad (52240009)
Program Studi: Sains Data

Ringkasan

Tentang Dashboard Ini

Dashboard ini membandingkan performa 4 model klasifikasi — Logistic Regression, Decision Tree, Random Forest, dan XGBoost — pada dua dataset:

Fraud Detection — memprediksi is_fraud
Propensity to Trade — memprediksi transact_within2d

Fraud Detection — Dataset

Table

Fraud Detection — EDA

## Column

Target Distribution

Missing Value

Top P2P Feature by Class

Fraud Rate by Province

Fraud Detection — Modeling

Row

Best F1

XGBoost

Best AUC

0.989

Fraud Rate in Data

0.79%

Row

Column

Model Comparison

Radar Chart

ROC Curve

Confusion Matrix — Best Model

Model dengan F1 tertinggi: XGBoost

          Reference
Prediction    No   Yes
       No  22046    66
       Yes    16   110

Precision    Recall        F1 
0.8730159 0.6250000 0.7284768

Insight

Dari 4 model yang dibandingkan pada dataset Fraud Detection, XGBoost mencatat F1-score tertinggi (72.8%), sementara XGBoost unggul di AUC (0.989) — artinya model ini paling baik membedakan kelas positif dan negatif secara keseluruhan. Kalau prioritasnya adalah menangkap sebanyak mungkin kasus positif (meminimalkan false negative), XGBoost dengan recall 62.5% adalah pilihan paling aman. Sebagai pembanding, Logistic Regression (model paling sederhana & mudah diinterpretasi) mencatat F1 30.3% — cocok dipakai sebagai baseline atau ketika interpretability lebih penting daripada raw performance.

Catatan bisnis: karena fraud hanya ~0,79% dari data, false negative (fraud yang lolos terdeteksi) jauh lebih mahal daripada false positive (transaksi normal yang salah ditandai). Jadi rekomendasi pemilihan model idealnya condong ke model dengan Recall tinggi, bukan cuma Accuracy tertinggi — meskipun konsekuensinya, tim fraud/CS perlu review manual lebih banyak transaksi yang ditandai model.

Feature Importance — Random Forest

Propensity to Trade — Dataset

Table

Propensity to Trade — EDA

## Column

Target Distribution

Missing Value

Engagement vs Target

has_topup vs Target

Propensity to Trade — Modeling

Row

Best F1

Random Forest

Best AUC

0.985

Transact Rate in Data

28.6%

Row

Column

Model Comparison

Radar Chart

ROC Curve

Confusion Matrix — Best Model

Model dengan F1 tertinggi: Random Forest

          Reference
Prediction    No   Yes
       No  14422   134
       Yes   777  5948

Precision    Recall        F1 
0.8844610 0.9779678 0.9288670

Insight

Dari 4 model yang dibandingkan pada dataset Propensity to Trade, Random Forest mencatat F1-score tertinggi (92.9%), sementara XGBoost unggul di AUC (0.985) — artinya model ini paling baik membedakan kelas positif dan negatif secara keseluruhan. Kalau prioritasnya adalah menangkap sebanyak mungkin kasus positif (meminimalkan false negative), Logistic Regression dengan recall 99.2% adalah pilihan paling aman. Sebagai pembanding, Logistic Regression (model paling sederhana & mudah diinterpretasi) mencatat F1 88.7% — cocok dipakai sebagai baseline atau ketika interpretability lebih penting daripada raw performance.

Catatan bisnis: karena target di dataset ini cukup seimbang (28,6% vs 71,4%), model dengan Accuracy dan AUC tinggi sudah cukup representatif tanpa perlu koreksi imbalance seperti pada dataset fraud. Model terbaik di sini bisa dipakai untuk scoring propensity user secara harian, misalnya untuk menentukan siapa yang layak dikirim push notification “ayo top up & trading sekarang”.

Feature Importance — Random Forest

Insights

Integrated Findings & Data-Driven Insights

Fraud Detection

Karakteristik data

Total 111.198 baris, target is_fraud sangat imbalance (0,79%).
Kolom konstan (topup_cancelled, wd_cancelled, dan rasionya) sudah di-drop sebelum modeling.

Temuan EDA

Pola P2P transfer adalah indikator fraud terkuat, bukan aktivitas topup/withdraw biasa.
Fraud rate tertinggi di Sumatera Selatan dan Kepulauan Bangka Belitung.

Hasil modeling

Dari 4 model yang dibandingkan pada dataset Fraud Detection, XGBoost mencatat F1-score tertinggi (72.8%), sementara XGBoost unggul di AUC (0.989) — artinya model ini paling baik membedakan kelas positif dan negatif secara keseluruhan. Kalau prioritasnya adalah menangkap sebanyak mungkin kasus positif (meminimalkan false negative), XGBoost dengan recall 62.5% adalah pilihan paling aman. Sebagai pembanding, Logistic Regression (model paling sederhana & mudah diinterpretasi) mencatat F1 30.3% — cocok dipakai sebagai baseline atau ketika interpretability lebih penting daripada raw performance.
Rekomendasi produksi: karena biaya false negative (fraud lolos) jauh lebih mahal daripada false positive, model dengan Recall tertinggi (XGBoost) lebih disarankan untuk dipakai di production dibanding sekadar model dengan Accuracy tertinggi.

Propensity to Trade

Karakteristik data

Total 106.411 baris, target transact_within2d lebih seimbang (28,6%).
Missing value pada topup_amount dkk bermakna bisnis (“belum topup”), sudah di-encode sebagai flag has_topup.

Temuan EDA

Engagement aplikasi (page-view) adalah prediktor terkuat, bukan nominal topup.

Hasil modeling

Dari 4 model yang dibandingkan pada dataset Propensity to Trade, Random Forest mencatat F1-score tertinggi (92.9%), sementara XGBoost unggul di AUC (0.985) — artinya model ini paling baik membedakan kelas positif dan negatif secara keseluruhan. Kalau prioritasnya adalah menangkap sebanyak mungkin kasus positif (meminimalkan false negative), Logistic Regression dengan recall 99.2% adalah pilihan paling aman. Sebagai pembanding, Logistic Regression (model paling sederhana & mudah diinterpretasi) mencatat F1 88.7% — cocok dipakai sebagai baseline atau ketika interpretability lebih penting daripada raw performance.
Rekomendasi produksi: karena target di dataset ini cukup seimbang, model dengan F1/AUC tertinggi (Random Forest) sudah cukup representatif untuk dipakai sebagai scoring model harian — misalnya untuk menentukan user mana yang paling layak dikirim push notification ajakan top up & trading.