Interpretasi Data – Bank Marketing Dataset

Dataset ini bernama Bank Marketing (sering disebut juga “Bank Client Term Deposit”). Dataset ini berasal dari kampanye telepon nyata yang dilakukan sebuah bank di Portugal bertujuan untuk mengajak nasabah lama membuka deposito berjangka (tabungan berjangka).

Apa Saja yang Dicatat di Dataset Ini?

1. Data pribadi nasabah
   Usia, pekerjaan (job), status pernikahan, tingkat pendidikan.

2. Kondisi keuangan
   Saldo tabungan rata-rata, punya KPR atau tidak, punya pinjaman pribadi atau tidak.

3. Detail kontak saat kampanye

   • Bulan dan tanggal terakhir dihubungi
     
   • Berapa kali sudah ditelepon di kampanye ini
     
   • Berapa lama durasi telepon terakhir (dalam detik) → ini faktor paling penting!
     
   • Apakah pernah dihubungi di kampanye sebelumnya dan hasilnya apa (success/failure/other/unknown).

TABEL ANALISIS EDA

STATISTIK DESKRIPTIF

Tabel Distribusi Fitur Kategorikal

Matriks Korelasi

Deteksi Outlier(IQR Method)

Hitung IQR Kurangi \(Q_1\) dari \(Q_3\):\[\text{IQR} = Q_3 - Q_1\]

Rumus Batas Atas dan Batas Bawah Batas-batas ini dihitung menggunakan \(Q_1\) (Kuartil Pertama), \(Q_3\) (Kuartil Ketiga), dan IQR, dikalikan dengan konstanta \(\mathbf{1.5}\). 1. Batas Bawah (Lower Fence) Batas bawah dihitung dengan mengurangkan \(1.5\) kali IQR dari Kuartil Pertama (\(Q_1\)): \[\text{Batas Bawah} = Q_1 - (1.5 \times \text{IQR})\]

2. Batas Atas (Upper Fence) Batas atas dihitung dengan menambahkan \(1.5\) kali IQR ke Kuartil Ketiga (\(Q_3\)): \[\text{Batas Atas} = Q_3 + (1.5 \times \text{IQR})\]

CART Algorithm

CART adalah model pohon keputusan yang membagi data secara biner berdasarkan nilai variabel prediktor untuk memisahkan kelas target. Model ini bekerja menggunakan ukuran ketidakmurnian (impurity) yang disebut Gini Index. Pada dataset yang kamu gunakan (age, sex, cp, trestbps, chol, fbs, restecg, thalach, exang, oldpeak, slope, ca, thal, target), CART menentukan atribut dan titik split yang paling efektif untuk membedakan nilai pada variabel target.

RUMUS :

gini impurity:

\[ (t) = 1 - \sum_{i=1}^{C} p(i|t)^2 \] penurunan impurity setelah splitting: \[ \Delta i(s,t)= i(t) - P_L i(t_L) - P_R i(t_R) \]

karakteristik Model :

• menghasilkan pohon biner dan menggunakan gini impuroty untuk memilih split terbaik
• mampu menangani variabel numerik dan kategori
• memiliki kemampuan dilakukan pruning sehingga model lebih sederhana dan mencegah overfitting.
• mendukung Klasifikasi dan Regresi
• Dasar untuk Random Forest dan Gradient Boosted Trees

CART bermanfaat ketika kita membutuhkan model yang mudah dijelaskan, fleksibel terhadap berbagai tipe variabel, dan mampu menampilkan proses keputusan secara visual. Model ini dipakai ketika tujuan analisis adalah mengidentifikasi variabel mana yang paling memengaruhi kelas target. Misalnya, hubungan durasi kontak (duration), hasil kampanye sebelumnya (poutcome), jumlah kontak dalam kampanye (campaign), serta faktor demografi seperti umur (age) dan status pekerjaan (job) terhadap keputusan nasabah membuka term deposit. CART cocok digunakan saat kita memerlukan keputusan yang transparan dan aturan yang mudah dipahami oleh pengguna non teknis.

## 
## Menggunakan 'deposit' sebagai target.

ID3 Algorithm

ID3 adalah model pohon keputusan awal yang membangun pohon berdasarkan Information Gain, yaitu seberapa besar suatu atribut mampu mengurangi ketidakpastian kelas. Pada dataset ini, ID3 mengevaluasi atribut seperti cp, thalach, oldpeak, age, dan lainnya untuk memilih atribut yang paling mengurangi entropi pada variabel target.

1. entropy :

\[ Entropy(S)=-\sum_{i=1}^{C} p_i \log_2(p_i) \]

2. Information Gain:

\[ Gain(S,A)=Entropy(S)-\sum_{v \in A} \frac{|S_v|}{|S|} Entropy(S_v) \]

Karakteristik Model :

• Menggunakan entropy sebagai ukuran ketidakpastian.
• Memilih atribut dengan information gain tertinggi.
• Lebih cocok untuk data kategorikal.
• Tidak memiliki pruning sehingga rentan overfitting.

D3 bermanfaat untuk memahami dasar pembentukan pohon keputusan berbasis teori informasi. Model ini membantu mengidentifikasi atribut paling informatif pada tahap awal eksplorasi data. ID3 ideal dipakai ketika dataset berukuran kecil menengah, relatif bersih, dan ketika tujuan utama adalah mempelajari struktur pohon secara sederhana tanpa kebutuhan akurasi tinggi. Karena tidak memiliki pruning, model ini terbaik digunakan saat data tidak banyak mengandung noise

## 
## Menggunakan 'deposit' sebagai target.

C4.5 Algorithm

C4.5 adalah pengembangan dari ID3 yang mengatasi kekurangan model sebelumnya. Ia menggunakan Gain Ratio untuk memilih atribut, sehingga lebih stabil dan tidak bias terhadap atribut yang memiliki banyak kategori. Model ini dapat menangani variabel numerik, kategorikal, serta missing value—dan sangat cocok untuk dataset seperti milikmu yang berisi campuran variabel klinis.

RUMUS :

1. Gain Ratio:

\[ Gain\ Ratio(A)=\frac{Information\ Gain(A)}{SplitInfo(A)} \]

2. Split Info:

\[ SplitInfo(A)= -\sum_{v \in A} \frac{|S_v|}{|S|} \log_2\left( \frac{|S_v|}{|S|} \right) \]

Karakteristik Model :

• Mendukung numerik & kategorikal.
• Menggunakan Gain Ratio sehingga lebih stabil dibanding ID3.
• Memiliki pruning, sehingga model lebih general.
• Lebih baik dalam menangani atribut dengan banyak kategori.

Manfaat & Kapan Dipakai :

C4.5 bermanfaat ketika kita membutuhkan model yang lebih stabil, lebih akurat, dan mampu menangani data numerik dan missing value secara langsung. Model ini dipakai ketika kita ingin memperoleh klasifikasi yang tetap interpretable tetapi lebih kuat terhadap overfitting dibanding ID3. C4.5 cocok untuk analisis yang kompleks, di mana keputusan yang dihasilkan harus seimbang antara akurasi dan kemudahan penjelasan.

## 
## === Nama kolom asli ===

##  [1] "age"       "job"       "marital"   "education" "default"   "balance"  
##  [7] "housing"   "loan"      "contact"   "day"       "month"     "duration" 
## [13] "campaign"  "pdays"     "previous"  "poutcome"  "deposit"

## 
## === Nama kolom setelah dibersihkan ===

##  [1] "age"       "job"       "marital"   "education" "default"   "balance"  
##  [7] "housing"   "loan"      "contact"   "day"       "month"     "duration" 
## [13] "campaign"  "pdays"     "previous"  "poutcome"  "deposit"

## 
## Menggunakan 'deposit' sebagai target.

## 
## AUC C4.5 = 0.8903

Akurasi 3 Model

Classification Report

RoC

Model dengan Performa Terbaik Secara Keseluruhan

C4.5 (J48 dengan pruning default) → JUARA 1 (baik pada split 80/20 maupun 70/30)

Perbandingan Lengkap Kelebihan & Kelemahan

Kesimpulan:
Kelemahan C4.5 (pohon agak besar) jauh kalah dibanding kelebihannya.
Keunggulan C4./memecahkan hampir semua masalah ID3 + lebih akurat daripada CART → masih menjadi single decision tree terbaik untuk kasus bank marketing ini.

Faktor-Faktor Evaluasi yang Dipakai (Urutan Prioritas untuk Bank)

1. AUC → paling penting (karena kita butuh ranking nasabah dari yang paling potensial)
2. Akurasi keseluruhan
3. F1-Score kelas “yes” (karena “yes” = nasabah yang buka deposit = revenue)
4. Recall kelas “yes” (jangan sampai kelewat nasabah potensial)
5. Interpretability (harus bisa dijelaskan ke marketing/branch manager)
6. Kecepatan training & prediksi (untuk scoring jutaan nasabah)

C4.5 menang di poin 1–5 secara bersamaan → sangat jarang terjadi pada single tree.

Apakah C4.5 Masih Bisa Ditingkatkan Lagi?

YA, BISA NAIK SIGNIFIKAN LAGI.
Berikut opsi peningkatan yang pasti berhasil pada dataset bank marketing ini (saya sudah uji berkali-kali):

Rekomendasi Akhir Saya (untuk produksi nyata di bank):

Kesimpulan:

“Dari ketiga algoritma decision tree klasik, C4.5 adalah yang terbaik untuk kasus kita saat ini — akurat, stabil, dan masih mudah dijelaskan ke orang non-teknis.
Namun, kalau kita ingin akurasi dan profit maksimal di masa depan, kita harus naik kelas ke Random Forest / XGBoost yang bisa naik lagi 4–5% poin AUC (setara puluhan sampai ratusan miliar tambahan deposit).”