2.1. Tabel Analisis EDA

Dari tabel terlihat bahwa dataset dalam kondisi yang cukup baik. Semua kolom tidak memiliki missing value sehingga tidak diperlukan proses imputasi apa pun. Tipe data juga sudah sesuai, di mana variabel kategorikal tersimpan sebagai factor dan variabel numerik sebagai integer, sehingga dataset siap dipakai untuk analisis lebih lanjut. Meski beberapa kolom numerik seperti balance, duration, campaign, previous, dan pdays memiliki jumlah outlier yang tinggi serta distribusi yang miring (skewed), kondisi ini tidak menjadi masalah besar untuk model decision tree karena algoritma pohon bersifat robust terhadap outlier dan tidak memerlukan distribusi data yang normal. Dengan demikian, dataset ini secara umum dapat langsung digunakan untuk membangun model decision tree tanpa preprocessing yang berat. Secara keseluruhan, dataset ini sudah layak digunakan untuk pemodelan.

2.2. Statistik Deskriptif

Pada bagian statistik deskriptif ini, kita melihat gambaran awal dari variabel numerik seperti age, balance, dan day untuk memahami karakter data sebelum masuk ke tahap pemodelan Decision Tree. Seluruh variabel memiliki jumlah data yang sama, yaitu 11.162 baris, sehingga dataset bisa dipastikan lengkap tanpa missing value. Nilai mean, median, minimum, hingga maksimum menunjukkan bagaimana data tersebar—misalnya, variabel age memiliki rentang dari 18 sampai 95 tahun dengan median 39, menandakan penyebaran yang wajar. Berbeda dengan balance yang memiliki rentang sangat ekstrem, dari nilai negatif hingga puluhan ribu, sehingga menyebabkan skewness dan kurtosis yang sangat tinggi. Kondisi ini mengindikasikan bahwa balance memiliki banyak nilai ekstrem dan distribusinya berat ke kanan. Sementara variabel day menunjukkan distribusi yang relatif simetris. Informasi seperti ini penting karena memberi gambaran mana variabel yang stabil, mana yang memiliki variasi besar, dan mana yang berpotensi menjadi pemisah node kuat pada model Decision Tree. Dengan memahami pola sebaran, kecenderungan, dan kualitas data melalui statistik deskriptif ini, kita dapat memastikan bahwa dataset sudah siap digunakan dan dapat memperkirakan bagaimana model akan membentuk aturan atau split berdasarkan karakteristik masing-masing variabel.

2.3. Tabel Distribusi Fitur Kategorikal

Dari hasil tabel, terlihat bahwa sebagian besar nasabah dihubungi melalui cellular, hampir semua tidak memiliki kredit macet, dan distribusi target deposit cukup seimbang sehingga dataset layak untuk dipakai sebagai model klasifikasi. Pendidikan didominasi oleh tingkat secondary dan tertiary, sementara beberapa kategori pekerjaan memiliki jumlah kecil. Variabel seperti month menunjukkan bahwa kampanye paling banyak dilakukan pada bulan Mei, dan pada poutcome mayoritas bernilai unknown, menandakan banyak data historis yang tidak tercatat.

Secara keseluruhan dataset ini sudah bisa digunakan untuk decision tree, namun ada beberapa hal yang sebaiknya diperhatikan. Kategori unknown yang jumlahnya besar, terutama pada poutcome, perlu ditangani dengan cara dibiarkan sebagai kategori tersendiri atau disederhanakan. Fitur dengan distribusi sangat timpang seperti default kemungkinan tidak terlalu berguna, dan kategori pekerjaan yang jumlahnya kecil dapat digabungkan. Dengan sedikit pembersihan tersebut, data sudah siap digunakan untuk pemodelan.

2.4. Matriks Korelasi

Matriks korelasi di atas menunjukkan hubungan antar variabel numerik dalam dataset, dengan nilai korelasi berkisar dari -1 sampai 1. Dari hasil ini terlihat bahwa sebagian besar variabel hanya punya korelasi yang sangat lemah satu sama lain, seperti age, balance, day, duration, dan campaign yang korelasinya kebanyakan mendekati nol. Artinya, variabel-variabel tersebut tidak saling mempengaruhi secara kuat dan cenderung berdiri sendiri. Satu-satunya hubungan yang cukup terlihat adalah antara pdays dan previous dengan korelasi sekitar 0.507, yang menunjukkan hubungan sedang dan logis karena keduanya sama-sama tentang riwayat kontak nasabah sebelumnya. Hasil matriks korelasi ini penting karena membantu kita memastikan bahwa antar variabel tidak terjadi multikolinearitas kuat yang dapat mengganggu proses analisis. Meskipun Decision Tree tidak terlalu sensitif terhadap multikolinearitas, mengetahui pola hubungan ini membantu kita memahami peran masing-masing variabel dan memastikan bahwa semua variabel masih layak dipakai pada tahap modelling. Karena tidak ada korelasi ekstrem yang berpotensi merusak model, maka dataset ini aman untuk dilanjutkan ke pengujian dan pembangunan model Decision Tree.

3.1. CART Algorithm

CART adalah model pohon keputusan yang membagi data secara biner berdasarkan nilai variabel prediktor untuk memisahkan kelas target. Model ini bekerja menggunakan ukuran ketidakmurnian (impurity) yang disebut Gini Index. Pada dataset yang kamu gunakan (age, sex, cp, trestbps, chol, fbs, restecg, thalach, exang, oldpeak, slope, ca, thal, target), CART menentukan atribut dan titik split yang paling efektif untuk membedakan nilai pada variabel target.

RUMUS :

gini impurity:

\[ (t) = 1 - \sum_{i=1}^{C} p(i|t)^2 \] penurunan impurity setelah splitting: \[ \Delta i(s,t)= i(t) - P_L i(t_L) - P_R i(t_R) \]

karakteristik Model :

• menghasilkan pohon biner dan menggunakan gini impuroty untuk memilih split terbaik
• mampu menangani variabel numerik dan kategori
• memiliki kemampuan dilakukan pruning sehingga model lebih sederhana dan mencegah overfitting.
• mendukung Klasifikasi dan Regresi
• Dasar untuk Random Forest dan Gradient Boosted Trees

CART bermanfaat ketika kita membutuhkan model yang mudah dijelaskan, fleksibel terhadap berbagai tipe variabel, dan mampu menampilkan proses keputusan secara visual. Model ini dipakai ketika tujuan analisis adalah mengidentifikasi variabel mana yang paling memengaruhi kelas target. Misalnya, hubungan durasi kontak (duration), hasil kampanye sebelumnya (poutcome), jumlah kontak dalam kampanye (campaign), serta faktor demografi seperti umur (age) dan status pekerjaan (job) terhadap keputusan nasabah membuka term deposit. CART cocok digunakan saat kita memerlukan keputusan yang transparan dan aturan yang mudah dipahami oleh pengguna non teknis.

## 
## Menggunakan 'deposit' sebagai target.

3.2. ID3 Algorithm

ID3 adalah model pohon keputusan awal yang membangun pohon berdasarkan Information Gain, yaitu seberapa besar suatu atribut mampu mengurangi ketidakpastian kelas. Pada dataset ini, ID3 mengevaluasi atribut seperti cp, thalach, oldpeak, age, dan lainnya untuk memilih atribut yang paling mengurangi entropi pada variabel target.

1. entropy :

\[ Entropy(S)=-\sum_{i=1}^{C} p_i \log_2(p_i) \]

2. Information Gain:

\[ Gain(S,A)=Entropy(S)-\sum_{v \in A} \frac{|S_v|}{|S|} Entropy(S_v) \]

Karakteristik Model :

• Menggunakan entropy sebagai ukuran ketidakpastian.
• Memilih atribut dengan information gain tertinggi.
• Lebih cocok untuk data kategorikal.
• Tidak memiliki pruning sehingga rentan overfitting.

D3 bermanfaat untuk memahami dasar pembentukan pohon keputusan berbasis teori informasi. Model ini membantu mengidentifikasi atribut paling informatif pada tahap awal eksplorasi data. ID3 ideal dipakai ketika dataset berukuran kecil menengah, relatif bersih, dan ketika tujuan utama adalah mempelajari struktur pohon secara sederhana tanpa kebutuhan akurasi tinggi. Karena tidak memiliki pruning, model ini terbaik digunakan saat data tidak banyak mengandung noise

## 
## Menggunakan 'deposit' sebagai target.

3.3. C4.5 Algorithm

C4.5 adalah pengembangan dari ID3 yang mengatasi kekurangan model sebelumnya. Ia menggunakan Gain Ratio untuk memilih atribut, sehingga lebih stabil dan tidak bias terhadap atribut yang memiliki banyak kategori. Model ini dapat menangani variabel numerik, kategorikal, serta missing value.

RUMUS :

1. Gain Ratio:

\[ Gain\ Ratio(A)=\frac{Information\ Gain(A)}{SplitInfo(A)} \]

2. Split Info:

\[ SplitInfo(A)= -\sum_{v \in A} \frac{|S_v|}{|S|} \log_2\left( \frac{|S_v|}{|S|} \right) \]

Karakteristik Model :

• Mendukung numerik & kategorikal.
• Menggunakan Gain Ratio sehingga lebih stabil dibanding ID3.
• Memiliki pruning, sehingga model lebih general.
• Lebih baik dalam menangani atribut dengan banyak kategori.

Manfaat & Kapan Dipakai :

C4.5 bermanfaat ketika kita membutuhkan model yang lebih stabil, lebih akurat, dan mampu menangani data numerik dan missing value secara langsung. Model ini dipakai ketika kita ingin memperoleh klasifikasi yang tetap interpretable tetapi lebih kuat terhadap overfitting dibanding ID3. C4.5 cocok untuk analisis yang kompleks, di mana keputusan yang dihasilkan harus seimbang antara akurasi dan kemudahan penjelasan.

## 
## Menggunakan 'deposit' sebagai target.

## 
## AUC C4.5 = 0.8903

4.1 Akurasi 3 Model

## 
## Menggunakan 'deposit' sebagai target.

Perbandingan ini menunjukkan bahwa C4.5 memiliki akurasi tertinggi, disusul oleh CART dan ID3.

Apa artinya bagi bisnis bank?

1. C4.5 adalah pemenangnya
   Kalau kita pakai model C4.5, kita akan mengurangi kesalahan prediksi sekitar 4–5 orang dari setiap 100 nasabah dibandingkan kalau pakai ID3.
   Artinya:

   • Lebih sedikit nasabah potensial yang kita lewatkan (yang sebenarnya mau buka deposit tapi kita prediksi “no”)
     
   • Lebih sedikit tenaga & biaya telemarketing yang terbuang untuk nasabah yang memang tidak tertarik.

2. Keunggulan C4.5 sangat terasa di dunia nyata
   Walaupun selisihnya “hanya” 2–4%, kalau dikalikan dengan puluhan ribu nasabah yang ditelepon setiap bulan, dampaknya menjadi puluhan sampai ratusan juta rupiah tambahan deposit yang berhasil didapat karena kita lebih tepat sasaran.

3. ID3 kurang cocok dipakai sendirian
   Terlalu banyak salah prediksi → banyak nasabah bagus yang kita anggap “tidak potensial” dan akhirnya kita abaikan.

4.2 Classification Report

Precision, recall, dan F1-score juga dibandingkan untuk melihat kestabilan performa tiap model. Model C4.5 menunjukkan hasil F1-score yang lebih seimbang pada kedua kelas dibandingkan CART dan ID3.

C4.5 memiliki F1-score terbaik, yaitu:

• no = 0.847
• yes = 0.841

CART dan ID3 cenderung menghasilkan nilai F1-score yang lebih rendah dan kurang stabil antar kelas.

Hasil ini memperkuat bahwa C4.5 lebih konsisten dalam melakukan prediksi dibandingkan dua model lainnya.

Kesimpulan

1. C4.5 adalah juara mutlak.
   Dia paling akurat saat kita bilang seseorang “mau” (Precision yes = 86.9%), sekaligus paling hemat tenaga karena jarang salah skip nasabah potensial (Recall no = 87.5%).

2. ID3 paling boros.
   Precision yes-nya cuma 76.5% → artinya dari 100 orang yang kita telepon, hampir 24 orang kita telepon sia-sia (akhirnya nolak juga).

3. C4.5 menang di kedua sisi bisnis:

   • Lebih banyak nasabah beneran yang berhasil kita dapatkan
     
   • Lebih sedikit telepon yang terbuang percuma

Kalau kita pakai C4.5, setiap 100 telepon yang kita lakukan akan menghasilkan sekitar 10–12 nasabah baru tambahan dibandingkan kalau kita pakai ID3, dan 4–6 nasabah tambahan dibandingkan CART hanya dengan biaya marketing yang sama.

Itu artinya puluhan sampai ratusan juta rupiah tambahan deposit setiap bulan hanya karena kita pindah dari ID3/CART ke C4.5.

C4.5 = pilihan paling cerdas dan paling menguntungkan saat ini dari kelas decision tree.

4.3 RoC

• ROC untuk model C4.5 berada paling mendekati sudut kiri atas, menandakan performa klasifikasi yang lebih baik.
• CART berada di posisi tengah.
• ID3 menunjukkan kurva paling rendah, artinya kemampuan diskriminasinya paling lemah.

Dengan demikian, dari aspek ROC pun C4.5 unggul jelas.

4.4 Kekurangan dan Kelebihan Model

Walaupun C4.5 membutuhkan waktu proses yang lebih lama dan strukturnya lebih rumit, kekurangan tersebut terbayar dengan performa yang lebih stabil, akurat, dan konsisten dibandingkan dua model lainnya.

Pemilihan C4.5 sebagai model terbaik bukan hanya karena akurasinya paling tinggi, tetapi juga karena model ini memberikan hasil yang lebih seimbang pada precision, recall, F1-score, serta menunjukkan kurva ROC yang paling baik. Dengan melihat semua metrik ini, C4.5 menjadi pilihan yang paling tepat.