Justifikasi Pemilihan Uji:

Kesimpulan: One-Sample Z-Test adalah uji yang tepat karena standar deviasi populasi diketahui dan ukuran sampel cukup besar.

Rumus Test Statistic (Z-score):

\(Z = \frac{\bar{x} - \mu_0}{\sigma / \sqrt{n}}\)

Langkah Perhitungan:

Step 1: Hitung Standard Error (SE)

\(SE = \frac{\sigma}{\sqrt{n}} = \frac{15}{\sqrt{64}} = \frac{15}{8} = 1.875\)

Step 2: Hitung Z-statistic

\(Z = \frac{\bar{x} - \mu_0}{SE} = \frac{116 - 120}{1.875} = \frac{-4}{1.875} = -2.133\)

Step 3: Cari P-value untuk two-tailed test

Karena ini two-tailed test, kita hitung:

\(P\text{-value} = 2 \times P(Z < -2.133) = 2 \times 0.0165 = 0.0330\)

Step 4: Tentukan Critical Values dengan α = 0.05

\(Z_{\alpha/2} = \pm 1.96\)

Hasil Perhitungan:

Visualisasi Distribusi Normal dan Test Statistic

Kriteria Keputusan:

• Jika p-value < α (0.05), maka TOLAK H₀
• Jika p-value ≥ α (0.05), maka GAGAL TOLAK H₀

Hasil:

P-value = 0.0329

α = 0.05

Keputusan: TOLAK H₀

Karena p-value < α, kita menolak hipotesis nol.

Rekomendasi Action Items:

1. Investigasi Lanjutan:
   • Analisis segmentasi pengguna berdasarkan waktu belajar
   • Identifikasi konten dengan engagement rendah
   • Survey alasan pengguna belajar lebih singkat
2. Perbaikan Product:
   • Enhance interaktivitas konten
   • Implementasi gamification untuk meningkatkan motivasi
   • Personalisasi learning path
3. Komunikasi Marketing:
   • Update klaim berdasarkan data aktual
   • Fokus pada kualitas pembelajaran, bukan hanya durasi
   • Transparansi dalam komunikasi metrik
4. Monitoring Berkelanjutan:
   • Setup dashboard real-time untuk tracking study time
   • Implementasi A/B testing untuk fitur baru
   • Regular statistical analysis untuk tren

Visualisasi Data

Justifikasi Pemilihan Uji:

Alasan memilih T-Test:

1. Standar Deviasi Populasi (σ) Tidak Diketahui
   • Kita tidak memiliki informasi tentang standar deviasi populasi
   • Hanya memiliki data sampel untuk menghitung standar deviasi sampel (s)
2. Ukuran Sampel Kecil (n < 30)
   • n = 10 pengguna (sampel kecil)
   • Untuk sampel kecil dengan σ tidak diketahui, T-test lebih tepat daripada Z-test
3. Asumsi Normalitas
   • Dengan sampel kecil, kita mengasumsikan data berasal dari populasi yang berdistribusi normal
   • Dari histogram dan boxplot, data tidak menunjukkan outlier ekstrem
4. Tujuan Pengujian
   • Membandingkan rata-rata sampel dengan nilai tertentu (μ₀ = 10)
   • Sesuai dengan karakteristik One-Sample T-test

Perbandingan dengan Z-Test:

Kesimpulan: One-Sample T-Test adalah uji yang tepat karena standar deviasi populasi tidak diketahui dan ukuran sampel kecil (n = 10).

Rumus Test Statistic (T-score):

\[t = \frac{\bar{x} - \mu_0}{s / \sqrt{n}}\]

dimana: - \(\bar{x}\) = rata-rata sampel - \(\mu_0\) = nilai yang dibandingkan (10 menit) - \(s\) = standar deviasi sampel - \(n\) = ukuran sampel - \(df = n - 1\) = derajat kebebasan

Langkah Perhitungan Manual:

Step 1: Hitung Rata-rata Sampel (x̄)

\[\bar{x} = \frac{\sum x_i}{n} = \frac{9.2 + 10.5 + 9.8 + 10.1 + 9.6 + 10.3 + 9.9 + 9.7 + 10.0 + 9.5}{10}\] \[\bar{x} = \frac{98.6}{10} = 9.86 \text{ menit}\]

Step 2: Hitung Standar Deviasi Sampel (s)

Perhitungan Standar Deviasi:

• Σ(xᵢ - x̄)² = 1.3440
  
• s² = 1.3440 / 9 = 0.1493
  
• s = √0.1493 = 0.3864

\[s = \sqrt{\frac{\sum(x_i - \bar{x})^2}{n-1}} = \sqrt{\frac{1.324}{9}} = \sqrt{0.1471} = 0.3840 \text{ menit}\]

Step 3: Hitung Standard Error (SE) \[SE = \frac{s}{\sqrt{n}} = \frac{0.3840}{\sqrt{10}} = \frac{0.3840}{3.1623} = 0.1215\]

Step 4: Hitung T-statistic \[t = \frac{\bar{x} - \mu_0}{SE} = \frac{9.86 - 10}{0.1215} = \frac{-0.14}{0.1215} = -1.1527\]

Step 5: Tentukan Derajat Kebebasan (df) \[df = n - 1 = 10 - 1 = 9\]

Step 6: Hitung P-value (Two-tailed test)

Untuk t = -1.1456 dengan df = 9:

• P(T < -1.1456) = 0.1407 (dari tabel t atau fungsi R)
  
• P-value = 2 × 0.1407 = 0.2815 (two-tailed)

Untuk two-tailed test dengan t = -1.1527 dan df = 9:

\[P\text{-value} = 2 \times P(T < -1.1527) \approx 2 \times 0.1393 = 0.2786\]

Hasil Perhitungan:

Confidence Interval (95%):

95% Confidence Interval untuk μ:

[9.5836, 10.1364] menit

Interpretasi:

Kita 95% yakin bahwa rata-rata waktu penyelesaian tugas populasi berada di antara 9.58 dan 10.14 menit.

Perhatikan bahwa nilai μ₀ = 10 menit BERADA DALAM interval ini, yang konsisten dengan keputusan gagal menolak H₀.

Visualisasi Distribusi T dan Test Statistic

Kriteria Keputusan:

Metode 1: P-value Approach - Jika p-value < α (0.05), maka TOLAK H₀ - Jika p-value ≥ α (0.05), maka GAGAL TOLAK H₀

Metode 2: Critical Value Approach - Jika |t-statistic| > t-critical, maka TOLAK H₀ - Jika |t-statistic| ≤ t-critical, maka GAGAL TOLAK H₀

Hasil Keputusan:

Interpretasi Keputusan:

Konsep Ukuran Sampel dan Reliabilitas

Ukuran sampel (n) memiliki pengaruh yang sangat penting terhadap reliabilitas inferensi statistik. Berikut adalah penjelasan lengkapnya:

A. Pengaruh terhadap Standard Error (SE)

Hubungan Matematis: \[SE = \frac{s}{\sqrt{n}}\]

Standard Error berbanding terbalik dengan akar kuadrat ukuran sampel.

Interpretasi:

• Semakin BESAR ukuran sampel (n ↑) → Standard Error semakin KECIL (SE ↓)
• SE yang lebih kecil = estimasi yang lebih presisi
• Hubungan: Jika n diperbesar 4x, SE akan mengecil menjadi 1/2 (karena √4 = 2)

Contoh dari data kita:

B. Pengaruh terhadap Confidence Interval

Kesimpulan:

• Sampel lebih BESAR → CI lebih SEMPIT → Estimasi lebih PRESISI
• Sampel lebih KECIL → CI lebih LEBAR → Estimasi kurang presisi
• Dengan n=10, CI kita cukup lebar (0.275 menit), menunjukkan ketidakpastian yang cukup besar

C. Pengaruh terhadap Statistical Power

Statistical Power = Probabilitas mendeteksi efek yang benar-benar ada (menolak H₀ ketika H₀ memang salah)

Interpretasi:

• Power saat ini (n=10): 0.177 atau 17.7%
• Artinya: Hanya ada 17.7% peluang untuk mendeteksi perbedaan yang benar-benar ada
• Standar minimum power yang baik: 0.80 (80%)
• Untuk mencapai power 0.80 dengan effect size ini, kita butuh sampel lebih besar

D. Ringkasan Pengaruh Ukuran Sampel

E. Rekomendasi untuk UX Research

Untuk Kasus Saat Ini (n = 10):

1. Hasil tidak signifikan mungkin karena sampel terlalu kecil, bukan karena tidak ada perbedaan
2. Tingkatkan sampel menjadi minimal 30-50 pengguna untuk reliabilitas lebih baik
3. Gunakan hasil ini sebagai studi pilot untuk merencanakan penelitian lebih besar

Best Practices Ukuran Sampel:

• 5-10 pengguna: Studi eksplorasi, pilot test (Power < 50%)
• 15-30 pengguna: Usability testing standar (Power 50-70%)
• 30-50 pengguna: A/B testing, comparative studies (Power 70-85%)
• 50+ pengguna: Large-scale validation, benchmarking (Power > 85%)

Hipotesis Nol (H₀):

Tidak ada perbedaan rata-rata durasi sesi antara Versi A dan Versi B.

\[H_0: \mu_A = \mu_B\]

atau dapat ditulis sebagai:

\[H_0: \mu_A - \mu_B = 0\]

Hipotesis Alternatif (H₁):

Ada perbedaan rata-rata durasi sesi antara Versi A dan Versi B.

\[H_1: \mu_A \neq \mu_B\]

atau dapat ditulis sebagai:

\[H_1: \mu_A - \mu_B \neq 0\]

Catatan: Ini adalah two-tailed test karena kita ingin mengetahui apakah ada perbedaan (baik lebih tinggi atau lebih rendah), bukan menguji apakah satu versi lebih baik secara spesifik.

Jenis T-Test yang Digunakan: Independent Two-Sample T-Test (Equal Variance Assumed)

Justifikasi Pemilihan:

1. Dua Kelompok Independen

• Versi A dan Versi B adalah dua kelompok yang berbeda dan independen

• Pengguna yang melihat Versi A berbeda dengan pengguna yang melihat Versi B

• Tidak ada pengukuran berulang (paired) pada subjek yang sama

2. Standar Deviasi Populasi Tidak Diketahui

• Kita hanya memiliki standar deviasi sampel (s_A = 1.2, s_B = 1.4)

• Standar deviasi populasi (σ) tidak diketahui

• Oleh karena itu, kita menggunakan T-test bukan Z-test

3. Ukuran Sampel Relatif Kecil

• n_A = 25 dan n_B = 25 (keduanya < 30)

• Untuk sampel kecil dengan σ tidak diketahui, T-test adalah pilihan yang tepat

4. Asumsi Equal Variance (Homogeneity of Variance)

• Standar deviasi kedua kelompok cukup mirip (1.2 vs 1.4)

• Rasio varians: (1.4)²/(1.2)² = 1.96/1.44 = 1.36 (< 2, dapat dianggap equal)

• Kita menggunakan pooled variance untuk perhitungan

Alternatif Jenis T-Test:

Kesimpulan: Independent Two-Sample T-Test dengan asumsi equal variance adalah uji yang paling tepat untuk kasus A/B testing ini.

Langkah Perhitungan Manual:

Step 1: Hitung Pooled Standard Deviation (s_p)

Karena kita mengasumsikan equal variance, kita menggabungkan estimasi varians dari kedua kelompok:

\[s_p = \sqrt{\frac{(n_A - 1)s_A^2 + (n_B - 1)s_B^2}{n_A + n_B - 2}}\]

Substitusi nilai:

\[s_p = \sqrt{\frac{(25 - 1)(1.2)^2 + (25 - 1)(1.4)^2}{25 + 25 - 2}}\]

\[s_p = \sqrt{\frac{24 \times 1.44 + 24 \times 1.96}{48}}\]

\[s_p = \sqrt{\frac{34.56 + 47.04}{48}}\]

\[s_p = \sqrt{\frac{81.6}{48}} = \sqrt{1.7} = 1.304\]

Step 2: Hitung Standard Error (SE)

\[SE = s_p \times \sqrt{\frac{1}{n_A} + \frac{1}{n_B}}\]

\[SE = 1.304 \times \sqrt{\frac{1}{25} + \frac{1}{25}}\]

\[SE = 1.304 \times \sqrt{0.04 + 0.04}\]

\[SE = 1.304 \times \sqrt{0.08} = 1.304 \times 0.283 = 0.369\]

Step 3: Hitung T-statistic

\[t = \frac{(\bar{x}_B - \bar{x}_A)}{SE} = \frac{\text{Mean}_B - \text{Mean}_A}{SE}\]

\[t = \frac{5.4 - 4.8}{0.369} = \frac{0.6}{0.369} = 1.626\]

Step 4: Tentukan Derajat Kebebasan (df)

\[df = n_A + n_B - 2 = 25 + 25 - 2 = 48\]

Step 5: Cari Critical Value

Untuk two-tailed test dengan α = 0.05 dan df = 48, dari tabel t atau menggunakan R:

\[t_{critical} = t_{0.025, 48} = \pm 2.011\]

Step 6: Hitung P-value

Untuk two-tailed test dengan t = 1.626 dan df = 48:

Menggunakan tabel t atau fungsi R, kita dapatkan:

• P(T > 1.626) ≈ 0.0552

• P-value = 2 × 0.0552 = 0.1104 (two-tailed)

Ringkasan Hasil Perhitungan:

Confidence Interval untuk Selisih Rata-rata:

Confidence Interval 95% untuk (μ_B - μ_A):

\[CI = (\bar{x}_B - \bar{x}_A) \pm t_{critical} \times SE\]

\[CI = 0.6 \pm 2.011 \times 0.369\]

\[CI = 0.6 \pm 0.742\]

\[CI = [-0.142, 1.342]\]

Interpretasi CI: Dengan tingkat kepercayaan 95%, selisih rata-rata durasi sesi antara Versi B dan A berada di antara -0.142 menit hingga 1.342 menit. Perhatikan bahwa interval ini mencakup nilai 0, yang mengindikasikan tidak ada perbedaan yang signifikan.

Visualisasi Distribusi T dan Test Statistic

Kriteria Keputusan:

Ada dua metode untuk membuat keputusan statistik:

Metode 1: P-value Approach

• Jika p-value < α (0.05) → TOLAK H₀

• Jika p-value ≥ α (0.05) → GAGAL TOLAK H₀

Metode 2: Critical Value Approach

• Jika |t-statistic| > t-critical → TOLAK H₀

• Jika |t-statistic| ≤ t-critical → GAGAL TOLAK H₀

Evaluasi Hasil:

Keputusan Akhir:

GAGAL MENOLAK H₀

Berdasarkan hasil analisis dengan tingkat signifikansi α = 0.05:

1. P-value (0.1104) > α (0.05) → Gagal menolak H₀
2. |t-statistic| (1.626) < t-critical (2.011) → Gagal menolak H₀
3. Confidence Interval mencakup 0 → Tidak ada perbedaan signifikan

Interpretasi Statistik:

Dengan tingkat signifikansi 5%, TIDAK ada bukti statistik yang cukup untuk menyatakan bahwa ada perbedaan rata-rata durasi sesi antara Versi A dan Versi B.

Penjelasan Detail:

• Walaupun Versi B memiliki rata-rata durasi sesi yang lebih tinggi (5.4 menit) dibandingkan Versi A (4.8 menit), selisih sebesar 0.6 menit ini tidak cukup signifikan secara statistik.

• Perbedaan yang teramati dapat dijelaskan sebagai variasi sampling yang wajar (random variation) dan bukan karena efek nyata dari perubahan versi landing page.

• P-value sebesar 0.1104 berarti ada sekitar 11% probabilitas untuk mendapatkan perbedaan seextrem ini (atau lebih) jika sebenarnya tidak ada perbedaan nyata antara kedua versi.

Konteks Bisnis dan Keputusan Produk

Hasil analisis statistik ini memiliki implikasi penting untuk pengambilan keputusan produk dalam konteks A/B testing landing page.

A. Temuan Utama

Hasil Statistik:

• Selisih rata-rata: \[+0.6 menit (12.5\% peningkatan)\]

• P-value: \[0.1104 (tidak signifikan pada α = 0.05)\]

• Confidence Interval: \[[-0.142, 1.342] menit\]

Interpretasi Bisnis:

Meskipun Versi B menunjukkan durasi sesi yang lebih tinggi secara numerik, hasil ini tidak signifikan secara statistik. Artinya, kita tidak dapat dengan yakin mengatakan bahwa Versi B benar-benar lebih baik dari Versi A.

B. Implikasi untuk Keputusan Produk

1. Rekomendasi Jangka Pendek:

TIDAK Disarankan untuk Deploy Versi B Saat Ini

Alasan:

• Tidak ada bukti statistik yang kuat bahwa Versi B lebih baik

• Risiko: Mengimplementasikan perubahan yang mungkin tidak memberikan dampak nyata

• Cost vs Benefit: Biaya implementasi mungkin tidak sebanding dengan hasil yang tidak terbukti

2. Analisis Lebih Lanjut Diperlukan:

A. Pertimbangan Ukuran Sampel (Statistical Power)

Rekomendasi:

• Tingkatkan ukuran sampel menjadi minimal 50-60 pengguna per versi

• Dengan sampel lebih besar, kita akan memiliki power yang cukup untuk mendeteksi perbedaan jika memang ada

B. Pertimbangan Practical Significance

Pertanyaan Kunci:

• Apakah peningkatan 0.6 menit (atau 36 detik) bermakna untuk bisnis?

• Apakah biaya implementasi Versi B sepadan dengan peningkatan engagement ini?

• Apa tujuan bisnis utama: engagement, konversi, atau revenue?

C. Rekomendasi Strategis

Opsi 1: Lanjutkan Testing dengan Sampel Lebih Besar

Action Items:

1. Perbesar ukuran sampel menjadi 50-60 pengguna per versi

2. Lanjutkan A/B test selama periode yang lebih panjang

3. Monitor metrik tambahan (bounce rate, conversion rate, revenue)

Keuntungan:

• Statistical power yang lebih baik

• Kesimpulan yang lebih reliable

• Dapat mendeteksi efek yang lebih kecil

Opsi 2: Analisis Segmentasi

Action Items:

1. Analisis performance per segmen user (new vs returning, device type, traffic source)

2. Mungkin Versi B lebih baik untuk segmen tertentu

3. Implementasi personalisasi berdasarkan segmen

Contoh Hipotesis:

• Versi B mungkin lebih baik untuk mobile users

• Versi B mungkin lebih baik untuk new visitors

• Versi B mungkin lebih efektif untuk traffic dari social media

Opsi 3: Test Variasi Lain

Action Items:

1. Jika perbedaan tidak signifikan, pertimbangkan untuk test variasi yang lebih bold

2. Kombinasikan elemen terbaik dari A dan B

3. Coba pendekatan yang berbeda secara fundamental

Opsi 4: Ship Anyway dengan Monitoring Ketat

Kondisi:

Jika biaya implementasi sangat rendah dan tren menunjukkan improvement:

Action Items:

1. Deploy Versi B dengan monitoring real-time
2. Siapkan rollback plan
3. Monitor metrik bisnis utama (conversion, revenue)
4. Evaluasi setelah 2-4 minggu

Risk Mitigation:

• Gradual rollout (10% → 25% → 50% → 100%)

• Monitor negative metrics (error rate, page load time)

• Ready to rollback jika ada indikasi negatif

D. Metrik Tambahan yang Perlu Dipertimbangkan

Durasi sesi bukan satu-satunya metrik sukses. Pertimbangkan:

E. Checklist Keputusan Akhir

Sebelum memutuskan, pastikan sudah menjawab pertanyaan berikut:

Aspek Statistik:

• Apakah ukuran sampel sudah cukup? (Saat ini: Belum optimal)

• Apakah asumsi statistik terpenuhi? (Ya)

• Apakah ada confounding factors? (Perlu dicek)

Aspek Bisnis:

• Berapa biaya implementasi Versi B?

• Berapa estimasi value dari 0.6 menit tambahan?

• Apakah ada trade-off (e.g., conversion rate turun)?

• Apakah selaras dengan strategi produk jangka panjang?

Aspek Teknis:

• Apakah Versi B mempengaruhi performance?

• Apakah ada technical debt yang ditimbulkan?

• Seberapa mudah untuk rollback?

Aspek User:

• Apa feedback kualitatif dari user?

• Apakah ada segmen yang dirugikan?

• Apakah improvement konsisten across devices?

F. Kesimpulan dan Rekomendasi Akhir

Rekomendasi Utama:

Berdasarkan hasil analisis statistik (p-value = 0.1104 > 0.05), TIDAK disarankan untuk langsung mengimplementasikan Versi B tanpa pengujian lebih lanjut.

Langkah Selanjutnya:

1. Tingkatkan Ukuran Sampel → Target 50-60 users per versi untuk power analysis yang lebih baik

2. Perpanjang Durasi Test → Jalankan test minimal 2-3 minggu untuk menangkap variasi temporal

3. Tambahkan Metrik Sekunder → Monitor conversion rate, bounce rate, dan revenue impact

4. Lakukan Analisis Segmentasi → Identifikasi apakah ada segmen tertentu yang benefit dari Versi B

5. Evaluasi ROI → Hitung apakah improvement 12.5% sebanding dengan biaya implementasi

Warning:

Jangan terjebak dalam “ship it because numbers look better”. Statistical significance exists untuk alasan yang baik - untuk melindungi kita dari keputusan berdasarkan random noise.

Perspektif Bisnis:

Dalam A/B testing, failure is not a failure. Hasil “tidak signifikan” adalah insight yang berharga:

• Perubahan yang ditest mungkin tidak cukup impactful
• Bisa fokus resources ke eksperimen lain yang lebih promising
• Learn dan iterate untuk versi berikutnya

Tabel Kontingensi (Contingency Table)

Keterangan: - Baris: Tipe Perangkat (Mobile, Desktop) - Kolom: Metode Pembayaran (E-Wallet, Credit Card, Cash on Delivery) - Sel: Jumlah transaksi untuk kombinasi device dan payment method

Statistik Deskriptif

Hipotesis Nol (H₀):

Tidak ada hubungan (asosiasi) antara tipe perangkat (device type) dengan metode pembayaran yang dipilih. Kedua variabel adalah independen.

\[H_0: \text{Device Type dan Payment Method adalah independen}\]

Atau secara matematis:

\[H_0: P(Payment | Mobile) = P(Payment | Desktop)\]

Artinya: Proporsi penggunaan setiap metode pembayaran adalah sama, tidak peduli apakah transaksi dilakukan dari Mobile atau Desktop.

Hipotesis Alternatif (H₁):

Ada hubungan (asosiasi) antara tipe perangkat dengan metode pembayaran yang dipilih. Kedua variabel tidak independen (ada ketergantungan).

\[H_1: \text{Device Type dan Payment Method TIDAK independen}\]

Atau:

\[H_1: P(Payment | Mobile) \neq P(Payment | Desktop)\]

Artinya: Proporsi penggunaan metode pembayaran berbeda antara pengguna Mobile dan Desktop.

Jenis Uji yang Digunakan: Chi-Square Test of Independence (χ² Test)

Justifikasi Pemilihan:

1. Tipe Data: Categorical (Nominal)

Kedua variabel dalam analisis ini adalah data kategorikal:

• Device Type: Mobile, Desktop (2 kategori)

• Payment Method: E-Wallet, Credit Card, Cash on Delivery (3 kategori)

2. Tujuan Analisis: Menguji Independensi

Kita ingin mengetahui apakah ada hubungan/asosiasi antara dua variabel kategorikal. Chi-Square Test of Independence dirancang khusus untuk tujuan ini.

3. Data dalam Bentuk Tabel Kontingensi

Data disajikan dalam bentuk tabel kontingensi (cross-tabulation) yang menunjukkan frekuensi observasi untuk setiap kombinasi kategori.

4. Asumsi Chi-Square Test:

Expected Frequencies (Frekuensi yang Diharapkan)

Jika kedua variabel independen, frekuensi yang diharapkan dihitung sebagai:

\[E_{ij} = \frac{(\text{Total Baris}_i) \times (\text{Total Kolom}_j)}{\text{Total Keseluruhan}}\]

Perbandingan Observed vs Expected

Rumus Chi-Square Statistic:

\[\chi^2 = \sum_{i=1}^{r} \sum_{j=1}^{c} \frac{(O_{ij} - E_{ij})^2}{E_{ij}}\]

dimana:

• \(O_{ij}\) = Observed frequency (frekuensi observasi) pada sel (i,j)

• \(E_{ij}\) = Expected frequency (frekuensi yang diharapkan) pada sel (i,j)

• \(r\) = jumlah baris (2 device types)

• \(c\) = jumlah kolom (3 payment methods)

Langkah Perhitungan Manual:

Step 1: Hitung Expected Frequency untuk setiap sel

Untuk Mobile + E-Wallet: \[E_{11} = \frac{250 \times 180}{440} = \frac{45000}{440} = 102.27\]

Untuk Mobile + Credit Card: \[E_{12} = \frac{250 \times 170}{440} = \frac{42500}{440} = 96.59\]

Untuk Mobile + Cash on Delivery: \[E_{13} = \frac{250 \times 90}{440} = \frac{22500}{440} = 51.14\]

Untuk Desktop + E-Wallet: \[E_{21} = \frac{190 \times 180}{440} = \frac{34200}{440} = 77.73\]

Untuk Desktop + Credit Card: \[E_{22} = \frac{190 \times 170}{440} = \frac{32300}{440} = 73.41\]

Untuk Desktop + Cash on Delivery: \[E_{23} = \frac{190 \times 90}{440} = \frac{17100}{440} = 38.86\]

Step 2: Hitung kontribusi Chi-Square untuk setiap sel

\[\frac{(O_{ij} - E_{ij})^2}{E_{ij}}\]

Untuk Mobile + E-Wallet: \[\frac{(120 - 102.27)^2}{102.27} = \frac{(17.73)^2}{102.27} = \frac{314.35}{102.27} = 3.074\]

Untuk Mobile + Credit Card: \[\frac{(80 - 96.59)^2}{96.59} = \frac{(-16.59)^2}{96.59} = \frac{275.23}{96.59} = 2.849\]

Untuk Mobile + Cash on Delivery: \[\frac{(50 - 51.14)^2}{51.14} = \frac{(-1.14)^2}{51.14} = \frac{1.30}{51.14} = 0.025\]

Untuk Desktop + E-Wallet: \[\frac{(60 - 77.73)^2}{77.73} = \frac{(-17.73)^2}{77.73} = \frac{314.35}{77.73} = 4.044\]

Untuk Desktop + Credit Card: \[\frac{(90 - 73.41)^2}{73.41} = \frac{(16.59)^2}{73.41} = \frac{275.23}{73.41} = 3.749\]

Untuk Desktop + Cash on Delivery: \[\frac{(40 - 38.86)^2}{38.86} = \frac{(1.14)^2}{38.86} = \frac{1.30}{38.86} = 0.033\]

Step 3: Jumlahkan semua kontribusi

\[\chi^2 = 3.074 + 2.849 + 0.025 + 4.044 + 3.749 + 0.033 = 13.774\]

Tabel Kontribusi Chi-Square per Sel

Derajat Kebebasan (Degrees of Freedom):

\[df = (r - 1) \times (c - 1) = (2 - 1) \times (3 - 1) = 1 \times 2 = 2\]

dimana:

• r = jumlah baris = 2

• c = jumlah kolom = 3

Hasil Perhitungan Chi-Square:

Perhitungan P-Value:

P-value adalah probabilitas mendapatkan nilai Chi-Square sebesar atau lebih ekstrem dari yang diamati, dengan asumsi H₀ benar.

Dengan χ² = 13.774 dan df = 2, menggunakan distribusi Chi-Square:

P-value = P(χ² ≥ 13.774 | df = 2)

Dari tabel Chi-Square atau fungsi R:

P-value = 0.0010

Interpretasi P-Value:

P-value sebesar 0.0010 berarti:

• Hanya ada 0.1% probabilitas (1 dalam 1000) untuk mendapatkan perbedaan seextrem ini atau lebih, jika sebenarnya tidak ada hubungan antara device type dan payment method.

• Ini adalah probabilitas yang sangat kecil, mengindikasikan bahwa hasil yang kita amati kemungkinan besar bukan karena kebetulan.

Kriteria Keputusan:

Metode 1: P-value Approach

• Jika p-value < α (0.05) → TOLAK H₀

• Jika p-value ≥ α (0.05) → GAGAL TOLAK H₀

Metode 2: Critical Value Approach

• Jika χ² > χ²_critical → TOLAK H₀

• Jika χ² ≤ χ²_critical → GAGAL TOLAK H₀

Evaluasi Hasil:

Kesimpulan Statistik:

TOLAK H₀

Dengan tingkat signifikansi α = 0.05:

1. P-value (0.0010) < α (0.05) → Sangat signifikan
2. χ² (13.774) > χ²_critical (5.991) → Jatuh di area penolakan

Interpretasi:

Ada bukti statistik yang sangat kuat bahwa tipe perangkat (device type) dan metode pembayaran TIDAK independen. Artinya, ada hubungan yang signifikan antara perangkat yang digunakan dengan metode pembayaran yang dipilih oleh pelanggan.

Konteks Bisnis dan Strategi Pembayaran Digital

Hasil Chi-Square Test menunjukkan adanya asosiasi signifikan antara device type dan payment preference. Mari kita analisis lebih dalam untuk implikasi strategi bisnis.

A. Analisis Pola Pembayaran

1. Analisis Proporsi per Device

Temuan Kunci:

Mobile Users:

• E-Wallet dominan (48%) - hampir setengah pengguna mobile memilih e-wallet
• Credit Card (32%) - posisi kedua
• Cash on Delivery (20%) - paling sedikit

Desktop Users:

• Credit Card dominan (47.4%) - hampir setengah pengguna desktop memilih credit card
• E-Wallet (31.6%) - posisi kedua
• Cash on Delivery (21.1%) - paling sedikit

2. Standardized Residuals Analysis

Standardized residuals menunjukkan seberapa jauh observed frequency dari expected frequency dalam unit standar deviasi.

Insight dari Residuals:

Standardized residuals > +2 atau < -2 mengindikasikan perbedaan yang signifikan dari yang diharapkan:

• Positif: Frekuensi lebih tinggi dari yang diharapkan (preferensi kuat)

• Negatif: Frekuensi lebih rendah dari yang diharapkan (preferensi lemah)

B. Implikasi untuk Strategi Digital Payment

1. Device-Specific Payment Optimization

Untuk Platform Mobile:

Prioritaskan E-Wallet Integration

• E-Wallet adalah metode pembayaran paling populer di mobile (48%)

• Overperformance signifikan dibanding expected frequency

• User mobile lebih nyaman dengan pembayaran cepat dan seamless

Action Items:

• Letakkan opsi E-Wallet di posisi teratas dalam payment selection

• Optimalkan UI/UX untuk e-wallet checkout (one-tap payment)

• Integrasi dengan e-wallet populer (GoPay, OVO, Dana, ShopeePay)

• Berikan incentive khusus untuk pembayaran via e-wallet di mobile

Untuk Platform Desktop:

Optimalkan Credit Card Processing

• Credit Card adalah metode dominan di desktop (47.4%)

• Pengguna desktop lebih nyaman memasukkan detail kartu kredit

• Layar lebih besar, lebih mudah untuk form filling

Action Items:

• Simplify credit card input form

• Implementasi autofill dan card scanning (jika applicable)

• Tampilkan badge keamanan (SSL, PCI-DSS certified)

• Tawarkan installment/cicilan untuk transaksi besar

2. User Experience Enhancement

3. Marketing dan Promotional Strategy

Mobile Campaign:

• Push notification untuk promo e-wallet

• Cashback/discount khusus untuk pembayaran e-wallet di mobile app

• Gamification (collect points dengan e-wallet payment)

Desktop Campaign:

• Email marketing dengan promo credit card installment

• Banner untuk benefit credit card (reward points, miles)

• Partnership dengan bank untuk exclusive discount

4. Cash on Delivery (COD) Strategy

Meskipun COD proporsinya paling kecil di kedua device (~20%), ini tetap segment penting:

Karakteristik COD Users:

• Mungkin tidak memiliki akses ke digital payment

• Concern terhadap keamanan online payment

• Prefer “lihat barang dulu, baru bayar”

• Demographic tertentu (older generation, rural areas)

Rekomendasi COD:

• Tetap support COD untuk market penetration
• Edukasi tentang keamanan digital payment
• Incentivize untuk switch ke digital payment (discount untuk non-COD)
• Improve tracking dan transparency untuk COD orders

C. Strategi Implementasi

Phase 1: Quick Wins (1-2 bulan)

1. Reorder payment options berdasarkan device

   • Mobile: E-Wallet → Credit Card → COD
   • Desktop: Credit Card → E-Wallet → COD

2. A/B test untuk validate impact

3. Monitor conversion rate dan payment success rate

Phase 2: Enhancement (3-6 bulan)

1. Personalisasi payment options berdasarkan user history
2. One-click payment untuk returning customers
3. Saved payment methods dengan biometric auth (mobile)

Phase 3: Ecosystem Development (6-12 bulan)

1. Partnership dengan e-wallet providers untuk exclusive promo
2. Credit card installment program dengan banks
3. Loyalty program tied to preferred payment methods

D. Key Performance Indicators (KPIs)

E. Kesimpulan dan Rekomendasi Akhir

Kesimpulan Utama:

1. Device type dan payment method memiliki hubungan yang signifikan (p = 0.0010)

2. Mobile users strongly prefer E-Wallet (48% vs 31.6% expected)

3. Desktop users strongly prefer Credit Card (47.4% vs 38.6% expected)

4. COD relatif konsisten di kedua platform (~20%)

Rekomendasi Strategis:

Jangka Pendek (0-3 bulan):

• Implement device-specific payment ordering
• Optimize UX untuk metode payment yang paling relevan per device
• Quick wins dengan low implementation cost

Jangka Menengah (3-6 bulan):

• Develop personalization engine untuk payment recommendations
• Partnership development dengan payment providers
• Enhanced security dan convenience features

Jangka Panjang (6-12 bulan):

• Build comprehensive digital payment ecosystem
• Loyalty program integration
• Advanced fraud detection per payment method

Expected Impact:

• Increase payment success rate: 3-5%
• Reduce cart abandonment: 2-3%
• Improve customer satisfaction: 10-15%
• Potential revenue uplift: 5-8%

Critical Success Factors:

• Continuous monitoring dan iterasi
• User feedback loop
• Cross-functional collaboration (Product, Tech, Business)
• Data-driven decision making

Definisi Type I Error:

Type I Error terjadi ketika kita menolak H₀ padahal H₀ sebenarnya benar.

Dalam simbol statistik: \[P(\text{Tolak } H_0 | H_0 \text{ benar}) = \alpha\]

Dalam Konteks Fraud Detection:

Type I Error terjadi ketika:

Kita menyimpulkan bahwa algoritma baru MENGURANGI fraud (menolak H₀), padahal kenyataannya algoritma tersebut TIDAK efektif (H₀ benar).

Skenario Konkret:

1. Apa yang Terjadi:

   • Tim data science melakukan testing

   • Hasil test menunjukkan penurunan fraud secara statistik signifikan

   • Berdasarkan hasil ini, perusahaan memutuskan untuk deploy algoritma baru

   • NAMUN, penurunan fraud yang teramati sebenarnya hanya kebetulan (random variation)

   • Algoritma baru sebenarnya tidak lebih baik dari sistem lama

2. Konsekuensi Bisnis:

Biaya Langsung:

• Biaya development dan testing yang sudah dikeluarkan sia-sia

• Biaya deployment dan integration dengan sistem existing

• Biaya training tim untuk menggunakan sistem baru

• Biaya infrastructure dan maintenance untuk algoritma yang tidak efektif

Biaya Opportunity:

• Waktu dan resources yang bisa digunakan untuk develop solusi lain yang lebih baik

• Delayed implementation dari solusi fraud detection yang benar-benar efektif

Dampak Operasional:

• False sense of security - tim percaya fraud sudah berkurang

• Mungkin ada relaksasi dalam monitoring manual

• Fraud sebenarnya tetap terjadi di level yang sama

Reputasi dan Kepercayaan:

• Stakeholder dan investor diberi harapan palsu

• Ketika fraud ternyata tidak berkurang, kredibilitas tim terganggu

Probabilitas Type I Error:

Probabilitas Type I Error = α (alpha) = tingkat signifikansi yang kita tetapkan

Umumnya:

• α = 0.05 (5%) → Ada 5% chance membuat Type I Error

• α = 0.01 (1%) → Ada 1% chance membuat Type I Error

Trade-off:

• α lebih kecil → Lebih konservatif, lebih sulit menolak H₀

• α lebih besar → Lebih liberal, lebih mudah menolak H₀

Ilustrasi Numerik:

Misalkan fraud rate sebelumnya 2% dan kita test algoritma baru:

Definisi Type II Error:

Type II Error terjadi ketika kita gagal menolak H₀ padahal H₀ sebenarnya salah (H₁ benar).

Dalam simbol statistik: \[P(\text{Gagal Tolak } H_0 | H_1 \text{ benar}) = \beta\]

Dalam Konteks Fraud Detection:

Type II Error terjadi ketika:

Kita menyimpulkan bahwa algoritma baru TIDAK mengurangi fraud (gagal tolak H₀), padahal kenyataannya algoritma tersebut EFEKTIF (H₁ benar).

Skenario Konkret:

1. Apa yang Terjadi:

   • Tim data science melakukan testing dengan sampel transaksi

   • Hasil test menunjukkan penurunan fraud, tapi tidak signifikan secara statistik

   • Berdasarkan hasil ini, perusahaan memutuskan untuk TIDAK deploy algoritma baru

   • NAMUN, algoritma baru sebenarnya efektif mengurangi fraud

   • Kita gagal mendeteksi efektivitas karena sampel terlalu kecil atau variabilitas tinggi

2. Konsekuensi Bisnis:

Kerugian Langsung dari Fraud yang Berkelanjutan:

• Fraud losses tetap tinggi karena tidak menggunakan algoritma yang lebih baik

• Chargebacks dan refunds untuk transaksi penipuan

• Kehilangan revenue dari transaksi fraud yang tidak terdeteksi

Opportunity Cost:

• Missed opportunity untuk meningkatkan fraud detection rate

• Kompetitor mungkin sudah menggunakan teknologi lebih baik

• Customer experience yang lebih buruk (legit transactions mungkin di-block, fraud tidak terdeteksi)

Dampak Jangka Panjang:

• Reputasi perusahaan terganggu jika fraud rate tinggi

• Regulasi dan compliance issues

• Biaya insurance dan risk management yang lebih tinggi

Kerugian Development:

• Investasi R&D untuk algoritma baru sia-sia

• Tim mungkin demotivasi karena solusi yang baik tidak di-adopt

• Potensi kehilangan talent yang frustasi

Probabilitas Type II Error:

Probabilitas Type II Error = β (beta)

Statistical Power = 1 - β = Probabilitas mendeteksi efek yang benar-benar ada

Contoh:

• Jika β = 0.20 → Power = 0.80 (80% chance mendeteksi efek yang ada)

• Jika β = 0.10 → Power = 0.90 (90% chance mendeteksi efek yang ada)

Ilustrasi Numerik:

Misalkan algoritma baru sebenarnya mengurangi fraud dari 2% ke 1.5%:

Dampak Finansial Estimasi:

Jika perusahaan memproses 1 juta transaksi per bulan dengan nilai rata-rata $100:

Dengan Type II Error, perusahaan kehilangan potensi penghematan $500,000 per bulan atau $6,000,000 per tahun!

A. Analisis Biaya Type I Error

Skenario: Deploy algoritma yang sebenarnya tidak efektif

Total Dampak Type I Error (3 tahun):

• One-time: $450K - $1.2M

• Recurring (3 tahun): $150K - $450K

• Total: $600K - $1.65M

Faktor Mitigasi:

• Sebagian biaya development bisa di-salvage (learnings, partial code reuse)

• Tidak ada kehilangan langsung dari fraud

• Bisa di-rollback dengan relatif cepat setelah monitoring

B. Analisis Biaya Type II Error

Skenario: Tidak deploy algoritma yang sebenarnya efektif

Total Dampak Type II Error (3 tahun): $23.4M - $32.4M

Faktor Pemberat:

• Kerugian bersifat ongoing dan compound

• Sulit di-recover setelah kehilangan customer trust

• Competitive disadvantage bisa permanent

• Reputational damage jangka panjang

C. Perbandingan Langsung

D. Kesimpulan: Type II Error Lebih Mahal

Dalam konteks fraud detection fintech ini, Type II Error JAUH LEBIH MAHAL (10-20x lebih mahal).

Alasan Utama:

1. Magnitude of Loss

   • Type I: ~$1.65M (worst case)

   • Type II: ~$32.4M (worst case)

   • Rasio: 1:20

2. Ongoing vs One-time

   • Type I: Mostly one-time cost

   • Type II: Compound losses setiap bulan

3. Reversibility

   • Type I: Bisa di-rollback dan di-fix

   • Type II: Kehilangan revenue dan reputasi sulit di-recover

4. Strategic Impact

   • Type I: Internal inefficiency

   • Type II: Competitive disadvantage, market share loss

E. Implikasi untuk Decision Making

Rekomendasi Strategis:

Prinsip Utama:

Dalam konteks ini, lebih baik risiko Type I Error daripada Type II Error karena:

• Type I bisa di-detect dan di-fix cepat dengan monitoring

• Type II menyebabkan kerugian ongoing yang massive

• Cost of false positive << Cost of false negative

Namun tetap perlu balance:

• Tidak asal deploy semua algoritma (proper testing tetap penting)

• Monitor dengan ketat untuk detect Type I Error

• Siap rollback cepat jika algorithm tidak perform

A. Hubungan Konseptual

Type II Error (β) berbanding terbalik dengan ukuran sampel (n):

\[\beta \downarrow \text{ ketika } n \uparrow\]

Atau dalam kata lain: \[\text{Power} = 1 - \beta \uparrow \text{ ketika } n \uparrow\]

Mengapa ini terjadi?

1. Standard Error berkurang dengan sampel lebih besar: \[SE = \frac{\sigma}{\sqrt{n}}\]

Sampel lebih besar → SE lebih kecil → Distribusi sampling lebih sempit

2. Deteksi efek lebih mudah dengan presisi lebih tinggi: Dengan SE lebih kecil, kita bisa membedakan efek kecil dari noise

3. Confidence Interval lebih sempit: CI lebih sempit → Lebih mudah untuk detect perbedaan dari null hypothesis

B. Ilustrasi Numerik

Misalkan algoritma baru mengurangi fraud rate dari 2.0% ke 1.5% (effect size = 0.5 percentage points).

Simulasi dengan berbagai ukuran sampel:

C. Tabel Sample Size Requirements

Key Insight:

Untuk mencapai power 80% (β = 20%), kita membutuhkan sampel sekitar 10,000-15,000 transaksi.

Jika kita hanya test dengan 1,000 transaksi, power kita mungkin hanya ~40-50%, artinya ada 50-60% chance kita akan miss algoritma yang sebenarnya efektif (Type II Error)!

D. Practical Implications untuk Fraud Detection Testing

1. Test Design Considerations:

2. Sequential Testing Strategy:

Untuk mengatasi trade-off antara sample size dan speed:

Keuntungan Sequential Testing:

• Tidak perlu menunggu sampel besar untuk algoritma yang jelas tidak efektif

• Fokus resources pada algoritma yang promising

• Balance antara speed dan accuracy

E. Practical Recommendations

1. Untuk Fintech Startup dengan Budget Terbatas:

• Gunakan Historical Data: Jika punya data historical, simulasikan algoritma baru pada data lama untuk increase effective sample size

• Stratified Sampling: Pastikan sampel representatif (berbagai merchant, transaction types, dll)

• Longer Test Duration: Jika tidak bisa increase concurrent sample, perpanjang durasi test

2. Untuk Scale-up Deployment:

• A/B Test dengan Traffic Allocation: Deploy ke 10% traffic dulu, monitor, gradually increase

• Real-time Monitoring: Quick detection jika ada issues (Type I error mitigation)

• Fallback Mechanism: Automatic rollback jika performance metrics drop

3. Cost-Benefit of Larger Sample:

Key Insight: Investasi dalam sampel lebih besar memberikan ROI yang sangat tinggi dengan mengurangi risiko Type II Error yang costly.

A. Definisi dan Hubungan Matematis

Alpha (α): Probabilitas Type I Error - Tingkat signifikansi yang kita tetapkan (biasanya 0.05) - Risiko menolak H₀ padahal H₀ benar

Beta (β): Probabilitas Type II Error - Risiko gagal menolak H₀ padahal H₁ benar - Gagal mendeteksi algoritma yang efektif

Statistical Power: Probabilitas mendeteksi efek yang benar-benar ada \(\text{Power} = 1 - \beta\)

Hubungan Fundamental: \(\alpha + \text{Power} \neq 1\) \(\beta + \text{Power} = 1\)

B. Trade-off antara α dan β

C. Faktor yang Mempengaruhi Power

Statistical Power dipengaruhi oleh 4 faktor utama:

1. Alpha Level (α) - α lebih besar → Power lebih tinggi - Trade-off: Lebih banyak Type I Error

2. Sample Size (n) - n lebih besar → Power lebih tinggi - No trade-off, hanya biaya

3. Effect Size - Effect lebih besar → Power lebih tinggi - Tidak bisa dikontrol (tergantung realitas)

4. Variability (σ) - Variability lebih kecil → Power lebih tinggi - Sulit dikontrol, tapi bisa improve measurement

D. Skenario Praktis dalam Fraud Detection

Skenario 1: Conservative Approach (α = 0.01)

Cocok untuk: Final deployment decision, high-stakes implementation

Skenario 2: Balanced Approach (α = 0.05)

Cocok untuk: Pilot testing, general validation

Skenario 3: Liberal Approach (α = 0.10)

Cocok untuk: Early screening, exploratory phase

E. Rekomendasi Strategis untuk Fintech

Phase-based Alpha Strategy:

Phase 1: Initial Screening (α = 0.10)

• Goal: Don’t miss any promising algorithms
• High power, willing to accept false positives
• Quick filtering

Phase 2: Validation (α = 0.05)

• Goal: Standard validation
• Balanced approach
• Detailed testing

Phase 3: Final Decision (α = 0.01)

• Goal: High confidence before deployment
• Conservative approach
• Comprehensive analysis

F. Practical Guidelines

Untuk Minimize Type II Error (maximize Power):

1. Increase sample size (paling efektif)
2. Use α = 0.10 untuk early screening
3. Improve measurement precision
4. Longer test duration
5. Stratified sampling untuk reduce variability

Untuk Minimize Type I Error:

1. Use α = 0.01 untuk final decisions
2. Require replication studies
3. Monitor closely post-deployment
4. Have rollback mechanisms ready

Definisi P-Value

P-value adalah probabilitas untuk mendapatkan hasil test statistic sebesar atau lebih ekstrem dari yang kita observasi, dengan asumsi bahwa Hipotesis Nol (H₀) benar.

Dalam simbol matematis: \[\text{P-value} = P(\text{Test Statistic} \geq 2.31 \mid H_0 \text{ benar})\]

Interpretasi P-Value dalam Konteks Ini

P-value = 0.021 berarti:

“Jika sebenarnya model baru TIDAK lebih baik dari model lama (H₀ benar), maka probabilitas untuk mendapatkan hasil test statistic 2.31 atau lebih ekstrem adalah 2.1% atau 21 dalam 1000 percobaan.”

Apa yang P-Value BUKAN

Visualisasi P-Value

Interpretasi Intuitif

Analogi Sederhana:

Bayangkan Anda melempar koin 100 kali dan mendapat 65 heads (kepala). Anda curiga koin tidak fair.

• H₀: Koin fair (P(heads) = 0.5)
• Hasil observasi: 65 heads dari 100
• P-value: Berapa probabilitas mendapat 65+ heads jika koin benar-benar fair?

Jika p-value = 0.021, artinya hanya ada 2.1% chance mendapat hasil seextrem ini jika koin benar-benar fair. Ini adalah evidence yang kuat bahwa koin mungkin tidak fair.

Dalam Konteks Churn Model:

• H₀: Model baru tidak lebih baik
• Hasil observasi: Test statistic = 2.31
• P-value = 0.021: Hanya 2.1% chance mendapat hasil ini jika model baru memang tidak lebih baik

Ini adalah evidence yang kuat bahwa model baru kemungkinan memang lebih baik.

Level of Evidence berdasarkan P-Value

P-value kita (0.021) berada di kategori “Strong Evidence” melawan H₀.

Kriteria Keputusan

Keputusan statistik dibuat dengan membandingkan p-value dengan tingkat signifikansi (α):

Aturan Keputusan: - Jika p-value < α → TOLAK H₀ - Jika p-value ≥ α → GAGAL TOLAK H₀

Evaluasi dalam Kasus Ini

Keputusan: TOLAK H₀

Karena p-value (0.021) < α (0.05), kita MENOLAK Hipotesis Nol.

Artinya:

Ada bukti statistik yang cukup kuat untuk menyimpulkan bahwa model churn prediction baru signifikan lebih baik dari model lama.

Tingkat Kepercayaan

Dengan menolak H₀ pada α = 0.05, kita memiliki 95% confidence level dalam keputusan ini.

Atau dengan kata lain, kita bersedia mengambil risiko 5% untuk membuat Type I Error (false positive - menyimpulkan model lebih baik padahal tidak).

Visualisasi Keputusan

Test statistic kita (2.31) jatuh di daerah penolakan (rejection region), sehingga keputusan adalah TOLAK H₀.

Versi Management-Friendly

Ringkasan Eksekutif:

Model prediksi churn yang baru terbukti lebih efektif dibandingkan model yang ada saat ini. Hasil analisis statistik menunjukkan improvement yang signifikan dengan tingkat kepercayaan 95%.

Rekomendasi: Deploy model baru untuk meningkatkan akurasi prediksi churn dan efektivitas retention strategy.

Penjelasan untuk Non-Technical Audience

Pertanyaan Manajemen: “Apakah model baru ini benar-benar lebih baik?”

Jawaban Sederhana:

“Ya, model baru ini signifikan lebih baik. Kami melakukan pengujian statistik yang ketat, dan hasilnya menunjukkan bahwa kemungkinan improvement ini hanya karena kebetulan sangat kecil - hanya 2.1%.

Dengan kata lain, kami 97.9% yakin bahwa model baru ini memang lebih baik, bukan karena faktor kebetulan.”

Key Messages untuk Management

Business Impact Translation

Dari Bahasa Statistik ke Bahasa Bisnis:

Statistik: “P-value = 0.021, reject H₀ at α = 0.05”

Bisnis: “Model baru dapat memprediksi customer churn dengan lebih akurat, yang berarti kita bisa:

• Identifikasi at-risk customers lebih awal
• Target retention efforts lebih efektif
• Reduce churn rate dan increase customer lifetime value
• Optimize marketing budget dengan fokus pada customers yang benar-benar at-risk”

One-Pager untuk C-Level

EXECUTIVE SUMMARY: CHURN PREDICTION MODEL EVALUATION

Bottom Line: Model baru 95% terbukti lebih baik. Rekomendasi: Deploy immediately.

Key Findings:

• Statistical analysis confirms model improvement (p = 0.021)
• 95% confidence level - very high certainty
• Low risk of false positive (5%)

Business Impact:

• Better churn prediction accuracy
• More effective retention targeting
• Higher ROI on retention spending
• Reduced customer acquisition costs (retain existing customers)

Next Steps: 1. Deploy model to production 2. Monitor performance metrics 3. A/B test with old model (safety check) 4. Measure business KPIs (churn rate, retention rate, LTV)

Timeline: Ready for deployment. Recommend phased rollout (25% → 50% → 100% over 4 weeks).

Konsep Representativeness

Sampel Representatif adalah sampel yang mencerminkan karakteristik populasi yang ingin kita generalisasi.

Jika sampel TIDAK representatif: Hasil statistik (walaupun p-value kecil) TIDAK VALID untuk populasi yang lebih luas.

Skenario Risiko dalam Churn Prediction

Contoh Kasus Sampel Tidak Representatif:

Konsekuensi Serius

1. False Sense of Security

Manajemen percaya model bekerja baik (karena p-value kecil), padahal hanya bekerja pada subset tertentu. Ketika di-deploy ke real world, performance drop drastically.

2. Biaya Salah Prediksi

False Negative jauh lebih mahal karena kita kehilangan customer yang sebenarnya bisa di-save.

3. Loss of Trust

Stakeholders kehilangan kepercayaan pada data science team ketika model yang dijanjikan “95% confident” ternyata tidak perform di production.

How to Ensure Representativeness

Pre-Deployment Checks:

Statistical Tests untuk Representativeness:

1. Chi-Square Test untuk categorical variables
2. K-S Test (Kolmogorov-Smirnov) untuk continuous variables
3. Compare distributions sample vs population

Mitigation Strategies

Jika sampel tidak 100% representatif:

Strategy 1: Stratified Analysis

• Analisis terpisah per segment
• Deploy model yang berbeda per segment jika needed

Strategy 2: Weighted Analysis

• Berikan weight pada observasi untuk adjust non-representativeness
• Misalnya: jika mobile users underrepresented, berikan weight lebih tinggi

Strategy 3: Phased Rollout

• Deploy 10% traffic dulu (random sampling)
• Monitor real-world performance
• Gradually increase jika performance match expectations

Strategy 4: A/B Testing in Production

• Run new model parallel dengan old model
• Compare actual churn rates
• Validate bahwa improvement hold in real conditions

Perbedaan Fundamental

P-Value dan Effect Size adalah dua konsep yang sangat berbeda:

Mengapa P-Value Tidak Mengukur Effect Size

Alasan 1: P-Value Dipengaruhi oleh Sample Size

P-Value adalah fungsi dari: \[\text{P-value} = f(\text{Effect Size}, \text{Sample Size}, \text{Variability})\]

Dengan sample size sangat besar, efek yang sangat kecil bisa menghasilkan p-value yang sangat kecil.

Ilustrasi:

Key Insight:

• Skenario A: Large effect, tapi p-value biasa karena sampel kecil
• Skenario B: Tiny effect, tapi p-value sangat kecil karena sampel besar - MISLEADING!
• Skenario C: Large effect DAN sampel besar - ideal

Skenario B adalah perangkap: P-value kecil membuat kita pikir efeknya besar, padahal tidak!

Contoh Konkret dalam Churn Prediction

Misalkan kita punya 2 model:

Model A:

• Improvement: 1% (dari 20% churn ke 19% churn)
• Sample size: 100,000 customers
• P-value: 0.001 (sangat signifikan)

Model B:

• Improvement: 5% (dari 20% churn ke 15% churn)
• Sample size: 500 customers
• P-value: 0.08 (tidak signifikan)

Hanya melihat p-value:

• Model A terlihat lebih baik (p = 0.001)
• Model B tidak signifikan (p = 0.08)

Melihat effect size:

• Model A: Hanya 1% improvement (kecil)
• Model B: 5% improvement (besar)

Business Impact:

Model B jauh lebih valuable ($2.5M vs $500K revenue impact) meskipun p-value tidak signifikan!

Metrics untuk Effect Size

Untuk Churn Prediction Model, gunakan:

1. Accuracy Improvement

• Baseline accuracy vs New model accuracy
• Example: 75% → 82% (7 percentage points improvement)

2. Precision/Recall Improvement

• Lebih relevan untuk imbalanced churn data
• Example: Precision 60% → 75%

3. AUC (Area Under ROC Curve)

• Comprehensive measure untuk classifier performance
• Example: AUC 0.72 → 0.85

4. Business Metrics

• Churn rate reduction (absolute %)
• Customers saved
• Revenue impact
• ROI dari retention spending

Best Practice: Report Both

Proper Statistical Reporting harus include:

1. P-value (statistical significance)
2. Effect size (practical significance)
3. Confidence interval (precision of estimate)
4. Sample size (context)

Example Good Reporting:

“Model baru mengurangi churn rate dari 20% menjadi 17% (effect size: 3 percentage points atau 15% relative reduction). Improvement ini statistically significant (p = 0.021) dengan 95% confidence interval [2.1%, 3.9%]. Tested on n=5,000 customers.”

This gives complete picture:

• Statistical significance: YES (p = 0.021)
• Practical significance: YES (3% absolute reduction is meaningful)
• Precision: Good (narrow CI)
• Context: Adequate sample size