Statistical Inferences
Assignment Week 14
Angelica Florentina M.
52250063
Student Majoring in Data Science at Institut Teknologi Sains Bandung
1 Case Study 1
One-Sample Z-Test (Statistical Hypotheses)
A digital learning platform claims that the average daily study time of its users is 120 minutes. Based on historical records, the population standard deviation is known to be 15 minutes.
A random sample of 64 users shows an average study time of 116 minutes.
\[μ₀ = 120\] \[σ= 15\] \[n = 64\] \[\bar {x} = 116\]
Tasks
Formulate the Null Hypothesis (H₀) and Alternative Hypothesis (H₁).
Identify the appropriate statistical test and justify your choice.
Compute the test statistic and p-value using α=0.05
State the statistical decision.
Interpret the result in a business analytics context.
1.1 Formulate Hypothesis
Pengujian hipotesis ini dilakukan untuk mengevaluasi klaim platform pembelajaran digital yang menyatakan bahwa rata-rata waktu belajar harian pengguna adalah 120 menit. Berdasarkan data sampel yang diperoleh, pengujian bertujuan untuk mengetahui apakah rata-rata waktu belajar pengguna sesuai atau berbeda secara signifikan dari nilai yang diklaim tersebut. Oleh karena itu, pengujian dilakukan menggunakan uji dua arah dengan perumusan hipotesis sebagai berikut:
Hipotesis Nol (H₀):
H₀ : μ = 120 Artinya, rata-rata waktu belajar harian pengguna platform pembelajaran digital adalah 120 menit.
Hipotesis Alternatif (H₁):
H₁ : μ ≠ 120 Artinya, rata-rata waktu belajar harian pengguna platform pembelajaran digital tidak sama dengan 120 menit.
1.2 Identify Statistical
Uji statistik yang digunakan dalam penelitian ini adalah Uji Z Satu Sampel (One-Sample Z-Test). Uji ini digunakan untuk menguji apakah rata-rata sampel berbeda secara signifikan dari rata-rata populasi yang telah ditentukan sebelumnya.
Pemilihan uji Z didasarkan pada beberapa pertimbangan, yaitu simpangan baku populasi diketahui (σ = 15 menit), ukuran sampel (n = 64), serta tujuan pengujian adalah membandingkan rata-rata sampel dengan nilai klaim perusahaan sebesar 120 menit. Pengujian dilakukan pada tingkat signifikansi α = 0,05 dengan uji dua arah, sesuai dengan bentuk hipotesis alternatif.
1.3 Calculations
Rumus Uji Z-Score \[Z = \frac{\bar{x} - \mu_0}{\sigma / \sqrt{n}}\] \[\begin{align} Z &= \frac{116 - 120}{15 / 8} \\ &= \frac{-4}{15/8} \\ &= \frac{-4}{1{,}875} \\ &= -2{,}13 \end{align} \]
P-Value
\[\begin{align} \text{P-value} &= 2 \times P(Z \leq -2,13) \\ &\approx 2 \times 0,0165 \\ &= 0,033 \end{align} \]
1.4 Statistical Decision
Tingkat signifikansi: α = 0,05
P-Value = 0,033
Karena P-Value < α:
\[0,033 < 0,05 \quad \Longrightarrow \quad \text{Tolak } H_0\]
1.5 Interpretation
Berdasarkan hasil Uji Z Satu Sampel:
Z-Score = −2,13
P-Value = 0,033 < 0,05
Keputusan: Tolak H₀
Makna Statistik
Hasil ini menunjukkan bahwa rata-rata waktu belajar harian pengguna secara signifikan berbeda dari klaim perusahaan sebesar 120 menit.
Makna Bisnis / Analitik
Rata-rata aktual pengguna = 116 menit, lebih rendah dari klaim 120 menit.
Klaim perusahaan bahwa pengguna belajar 120 menit per hari tidak sepenuhnya akurat.
Implikasi bagi platform pembelajaran digital:
Perlu mengevaluasi strategi engagement untuk meningkatkan waktu belajar.
Menyesuaikan target konten atau aktivitas belajar.
Mempertimbangkan strategi pemasaran atau kampanye edukasi untuk mendorong penggunaan lebih aktif.
1.6 Table Conclusions
| Parameter | Nilai / Hasil |
|---|---|
| Rata-rata populasi (μ₀) | 120 menit |
| Rata-rata sampel (x̄) | 116 menit |
| Simpangan baku populasi (σ) | 15 menit |
| Ukuran sampel (n) | 64 |
| Z-Statistic | −2,13 |
| P-Value (dua arah) | 0,033 |
| Keputusan statistik | Tolak H₀ |
2 Case Study 2
One-Sample T-Test (σ Unknown, Small Sample)
A UX Research Team investigates whether the average task completion time of a new application differs from 10 minutes.
The following data are collected from 10 users:
\[9.2,10.5,9.8,10.1,9.6,10.3,9.9,9.7,10.0,9.5\]
Tasks
Define H₀ and H₁ (two-tailed).
Determine the appropriate hypothesis test.
Calculate the t-statistic and p-value at α=0.05
Make a statistical decision.
Explain how sample size affects inferential reliability.
2.1 Formulate Hypothesis
Perumusan hipotesis dilakukan untuk menguji klaim bahwa rata-rata waktu penyelesaian tugas aplikasi baru adalah 10 menit. Dengan data sampel dari 10 pengguna, tujuan pengujian adalah menentukan apakah rata-rata waktu aktual berbeda secara signifikan dari nilai yang diklaim. Karena kita ingin mengetahui perbedaan ke arah mana pun, pengujian dilakukan dengan uji dua arah.
H₀ : μ = 10 (Rata-rata waktu penyelesaian tugas = 10 menit)
H₁ : μ ≠ 10 (Rata-rata waktu penyelesaian tugas ≠ 10 menit)
2.2 Identify Statistical
Dalam kasus ini, simpangan baku populasi tidak diketahui dan ukuran sampel kecil (n = 10 < 30). Oleh karena itu, uji t satu sampel (One-Sample T-Test) digunakan untuk menguji apakah rata-rata waktu penyelesaian tugas berbeda dari nilai klaim 10 menit. Alasannya:
Simpangan baku populasi tidak diketahui
Ukuran sampel kecil (n = 10 < 30)
Tujuan: membandingkan rata-rata sampel dengan nilai tertentu
Uji dua arah digunakan karena hipotesis alternatif menyatakan bahwa rata-rata tidak sama dengan 10 menit.
2.3 Calculations
Menghitung rata-rata sampel
\[\begin{align} \bar{x} &= \frac{\sum_{i=1}^{10} x_i}{10} \\ &= \frac{9,2 + 10,5 + 9,8 + 10,1 + 9,6 + 10,3 + 9,9 + 9,7 + 10,0 + 9,5}{10} \\ &= \frac{98,6}{10} \\ &= 9,86 \end{align} \]
Menghitung simpangan baku sampel (s)
\[\begin{align} s &= \sqrt{\frac{\sum_{i=1}^{n} (x_i - \bar{x})^2}{n-1}} \\ &= \sqrt{\frac{(9,2-9,86)^2 + (10,5-9,86)^2 + \dots + (9,5-9,86)^2}{10-1}} \\ &= \sqrt{\frac{1,344}{9}} \\ &= \sqrt{0,1493} \\ &\approx 0,386 \end{align} \]
Menghitung t-statistic
\[\begin{align} t &= \frac{\bar{x} - \mu_0}{s / \sqrt{n}} \\ &= \frac{9,86 - 10}{0,386 / \sqrt{10}} \\ &= \frac{-0,14}{0,386 / 3,162} \\ &= \frac{-0,14}{0,122} \\ &\approx -1,15 \end{align} \]
Menghitung P-Value
(df) = n − 1 = 10 − 1 = 9
Dari tabel t, t = −1,15, df = 9, dua arah
\[\text{P-value} \approx 0,28\]
2.4 Statistical Decision
α = 0,05
P-Value = 0,28
Karena P-Value > α:
\[0,28 > 0,05 \quad \Longrightarrow \quad \text{Gagal menolak } H_0\]
2.5 Interpretation
Berdasarkan perhitungan t-statistic = −1,15 dan P-Value = 0,28 > 0,05, keputusan statistik adalah gagal menolak H₀.
Maknanya:
Tidak terdapat bukti statistik yang cukup untuk menyatakan bahwa rata-rata waktu penyelesaian tugas berbeda dari 10 menit.
Dengan kata lain, rata-rata waktu pengguna mendekati klaim 10 menit, sehingga aplikasi memenuhi ekspektasi rata-rata waktu penyelesaian tugas.
Dalam konteks bisnis atau UX: keputusan ini menunjukkan bahwa performa aplikasi sesuai dengan standar yang diharapkan, sehingga tidak diperlukan perubahan signifikan terkait waktu penyelesaian tugas.
Pengaruh Ukuran Sampel terhadap Reliabilitas Inferensi
- Sampel kecil (n < 30):
Estimasi rata-rata dan simpangan baku lebih tidak stabil.
Interval kepercayaan menjadi lebih lebar, sehingga keputusan statistik cenderung kurang andal.
Lebih rentan terhadap outlier atau variasi ekstrem dalam data.
- Sampel besar (n ≥ 30):
Estimasi rata-rata lebih stabil dan mendekati distribusi normal.
Interval kepercayaan lebih sempit, sehingga keputusan statistik lebih tepat dan andal.
Memberikan kekuatan uji (power) lebih tinggi untuk mendeteksi perbedaan nyata.
2.6 Table Conclusions
| Parameter | Nilai / Hasil |
|---|---|
| Rata-rata klaim (μ₀) | 10 menit |
| Rata-rata sampel (x̄) | 9,86 |
| Sampel SD (s) | 0,386 |
| Ukuran sampel (n) | 10 |
| T-Statistic | −1,15 |
| Derajat bebas (df) | 9 |
| P-Value (dua arah) | 0,28 |
| Keputusan statistik | Gagal menolak H₀ |
3 Case Study 3
Two-Sample T-Test (A/B Testing)
A product analytics team conducts an A/B test to compare the average session duration (minutes) between two versions of a landing page.
| Version | Sample Size (n) | Mean | Standard Deviation |
|---|---|---|---|
| A | 25 | 4.8 | 1.2 |
| B | 25 | 5.4 | 1.4 |
Tasks
Formulate the null and alternative hypotheses.
Identify the type of t-test required.
Compute the test statistic and p-value.
Draw a statistical conclusion at α=0.05
Interpret the result for product decision-making.
3.1 Formulate Hypothesis
Perumusan hipotesis dilakukan untuk menguji klaim apakah dua versi landing page memiliki durasi sesi rata-rata yang berbeda. Dengan data dari dua kelompok independen (versi A dan versi B), tujuan pengujian adalah menentukan apakah perbedaan rata-rata yang diamati signifikan secara statistik atau hanya akibat variasi sampel.
Hipotesis Nol (H₀):
𝜇𝐴=𝜇𝐵
Rata-rata durasi sesi antara versi A dan B tidak berbeda.
Hipotesis Alternatif (H₁):
𝜇𝐴≠𝜇𝐵
Rata-rata durasi sesi antara versi A dan B berbeda secara signifikan.
3.2 Identify Statistical
Dalam kasus ini, tim product analytics ingin membandingkan rata-rata durasi sesi antara dua versi landing page (A dan B).
Alasan pemilihan uji statistik:
Dua sampel independen → data dari dua kelompok pengguna yang berbeda.
Simpangan baku populasi tidak diketahui → harus menggunakan distribusi t, bukan Z.
Ukuran sampel relatif kecil (n = 25 untuk masing-masing versi) → distribusi t lebih tepat daripada distribusi normal.
Tujuan: menguji apakah rata-rata durasi sesi berbeda antara dua versi → uji dua arah (two-tailed test).
Jenis uji -> Independent two-sample t-test
3.3 Calculations
Diketahui:
\[\bar{x}_A = 4,8, \quad \bar{x}_B = 5,4\] \[s_A = 1,2, \quad s_B = 1,4\] \[n_A = n_B = 25\]
Menghitung pooled standar deviasi
\[\begin{align} s_A^2 &= 1,2^2 = 1,44 \\ s_B^2 &= 1,4^2 = 1,96 \\ s_p &= \sqrt{\frac{(n_A-1)s_A^2 + (n_B-1)s_B^2}{n_A + n_B - 2}} \\ &= \sqrt{\frac{(25-1) × 1,44 + (25-1) × 1,96}{25+25-2}} \\ &= \sqrt{\frac{24 × 1,44 + 24 × 1,96}{48}} \\ &= \sqrt{\frac{34,56 + 47,04}{48}} \\ &= \sqrt{\frac{81,6}{48}} \\ &= \sqrt{1,7} \\ &\approx 1,303 \end{align} \]
Menghitung t-statistic
\[\begin{align} t &= \frac{\bar{x}_A - \bar{x}_B}{s_p \sqrt{\frac{1}{n_A} + \frac{1}{n_B}}} \\ &= \frac{4,8 - 5,4}{1,303 \sqrt{\frac{1}{25} + \frac{1}{25}}} \\ &= \frac{-0,6}{1,303 \sqrt{0,04 + 0,04}} \\ &= \frac{-0,6}{1,303 \sqrt{0,08}} \\ &= \frac{-0,6}{1,303 × 0,283} \\ &= \frac{-0,6}{0,368} \\ &\approx -1,63 \end{align}\]
Menentukan df
\[\text{df} = n_A + n_B - 2 = 25 + 25 - 2 = 48\]
Menentukan P-Value
Uji dua arah, df = 48
Dari tabel, t = −1,63
→ P-Value ≈ 0,11
3.4 Statistical Decision
t-Statistic = −1,63
P-Value ≈ 0,11
α = 0,05
\[0,11 > 0,05 \quad \Longrightarrow \quad \text{Gagal menolak } H_0\]
3.5 Interpretation
t-Statistic = −1,63
P-Value ≈ 0,11 > α = 0,05
Keputusan statistik: Gagal menolak H₀
Maknanya:
Tidak ada bukti yang cukup untuk menyatakan bahwa rata-rata durasi sesi berbeda antara versi A dan B.
Secara statistik, rata-rata durasi sesi versi A (4,8 menit) dan versi B (5,4 menit) dianggap sama.
Interpretasi untuk Pengambilan Keputusan Produk
- Efektivitas landing page:
- Perubahan desain pada versi B tidak meningkatkan durasi sesi secara signifikan dibanding versi A.
- Prioritas tim produk:
- Fokus bisa dialihkan ke metrik lain seperti konversi, klik tombol, retensi pengguna, karena durasi sesi tidak menunjukkan perbedaan yang nyata.
- Rencana eksperimen selanjutnya:
Jika ingin mendeteksi perbedaan kecil di masa depan, perlu sampel lebih besar agar uji lebih sensitif (lebih tinggi power).
Tidak perlu melakukan perubahan drastis pada versi B hanya berdasarkan durasi sesi saat ini.
Kesimpulan bisnis:
Kedua versi landing page cukup setara dalam hal durasi sesi.
Keputusan pengembangan produk bisa didasarkan pada faktor lain selain durasi sesi.
3.6 Table Conclusions
| Parameter | Nilai / Hasil |
|---|---|
| Rata-rata versi A (x̄₁) | 4,8 menit |
| Rata-rata versi B (x̄₂) | 5,4 menit |
| Pooled SD (sₚ) | 1,303 |
| Ukuran sampel | 25 (A), 25 (B) |
| T-Statistic | −1,63 |
| Derajat bebas (df) | 48 |
| P-Value (dua arah) | 0,11 |
| Keputusan statistik | Gagal menolak H₀ |
4 Case Study 4
Chi-Square Test of Independence
An e-commerce company examines whether device type is associated with payment method preference.
| Device / Payment | E-Wallet | Credit Card | Cash on Delivery |
|---|---|---|---|
| Mobile | 120 | 80 | 50 |
| Desktop | 60 | 90 | 40 |
Tasks
State the Null Hypothesis (H₀) and Alternative Hypothesis (H₁).
Identify the appropriate statistical test.
Compute the Chi-Square statistic (χ²).
Determine the p-value at α=0.05
Interpret the results in terms of digital payment strategy.
4.1 Formulate Hypothesis
Perumusan hipotesis bertujuan untuk mengetahui apakah dua variabel kategori saling berhubungan. Dalam kasus ini:
Variabel 1: Tipe perangkat (Mobile, Desktop)
Variabel 2: Metode pembayaran (E-Wallet, Credit Card, Cash on Delivery)
Hipotesis diuji dengan uji dua arah untuk melihat apakah ada keterkaitan antara perangkat dan preferensi pembayaran.
Hipotesis Nol (H₀):
\[\text {Tipe perangkat tidak berhubungan dengan preferensi metode pembayaran.}\]
Artinya: distribusi metode pembayaran sama untuk Mobile dan Desktop.
Hipotesis Alternatif (H₁):
\[\text {Tipe perangkat berhubungan dengan preferensi metode pembayaran.}\]
Artinya: distribusi metode pembayaran berbeda tergantung tipe perangkat.
4.2 Identify Statistical
Chi-Square Test of Independence digunakan untuk menentukan apakah dua variabel kategorikal saling berhubungan atau independen.
Dalam kasus ini:
Variabel 1: Tipe perangkat (Mobile / Desktop)
Variabel 2: Metode pembayaran (E-Wallet / Credit Card / Cash on Delivery)
Uji ini membantu perusahaan mengetahui apakah preferensi metode pembayaran berbeda berdasarkan tipe perangkat.
Alasan Memilih Uji Ini
Kedua variabel kategori / nominal → tidak bisa menggunakan uji t atau Z.
Data berupa frekuensi (jumlah pengguna) → cocok dengan distribusi Chi-Square.
Tujuan: menguji hubungan atau ketergantungan antar variabel, bukan rata-rata atau angka kontinu.
4.3 Calculations
Menghitung total baris & kolom
Total Mobile = 120 + 80 + 50 = 250
Total Desktop = 60 + 90 + 40 = 190
Total E-Wallet = 120 + 60 = 180
Total Credit Card = 80 + 90 = 170
Total Cash on Delivery = 50 + 40 = 90
Total keseluruhan (N) = 250 + 190 = 440
Menghitung frekuensi harapan (Expected Value)
Rumus:
\[E = \frac{(\text{Total Baris}) \times (\text{Total Kolom})}{\text{Total Keseluruhan}}\]
1. Mobile - E-wallet
\[E = \frac{250 \times{180}}{440} = \frac{45000}{440} = 102.27\]
2. Mobile - Kart kredit
\[E = \frac{250 \times{170}}{440} = \frac{42500}{440} = 96.59\]
3. Mobile - COD
\[E = \frac{250 \times{90}}{440} = \frac{22500}{440} = 51.14\]
4. Desktop - E-wallet
\[E = \frac{190 \times{180}}{440} = \frac{34200}{440} = 77.73\]
5. Desktop - Kartu kredit
\[E = \frac{190 \times{170}}{440} = \frac{32300}{440} = 73.41\]
6. Desktop - COD
\[E = \frac{190 \times{90}}{440} = \frac{17100}{440} = 38.86\]
Tabel Frekuensi Harapan (E)
| Perangkat | E-Wallet | Kartu Kredit | COD |
|---|---|---|---|
| Mobile | 102,27 | 96,59 | 51,14 |
| Desktop | 77,73 | 73,41 | 38,86 |
Menghitung Chi-Square (χ²)
Rumus:
\[\chi^2 = \sum \frac{(O - E)^2}{E}\]
1. Mobile - E-wallet
\[\frac{(120 - 102.27)^2}{102.27} = \frac{(17.73)^2}{102.27} = \frac{314.35}{102.27} = 3.07\]
2. Mobile - Kartu kredit
\[\frac{(80 - 96.59)^2}{96.59} = \frac{(-16.59)^2}{96.59} = \frac{275.22}{96.59} = 2.85\]
3. Mobile - COD
\[\frac{(50 - 51.14)^2}{51.14} = \frac{(-1.14)^2}{51.14} = \frac{1.30}{51.14} = 0.03\]
4. Desktop - E-wallet
\[\frac{(60 - 77.73)^2}{77.73} = \frac{(-17.73)^2}{77.73} = \frac{314.35}{77.73} = 4.04\]
5. Desktop - Kartu kredit
\[\frac{(90 - 73.41)^2}{73.41} = \frac{(16.59)^2}{73.41} = \frac{275.22}{73.41} = 3.75\]
6. Desktop - COD
\[\frac{(40 - 38.86)^2}{38.86} = \frac{(1.14)^2}{38.86} = \frac{1.30}{38.86} = 0.03\]
Tabel Chi-Square
| Sel | Nilai χ² |
|---|---|
| Mobile – E-Wallet | 3,07 |
| Mobile – Kartu Kredit | 2,85 |
| Mobile – COD | 0,03 |
| Desktop – E-Wallet | 4,04 |
| Desktop – Kartu Kredit | 3,75 |
| Desktop – COD | 0,03 |
Menjumlahkan semua nilai
\[\chi^2 = 3.07 + 2.85 + 0.03 + 4.04 + 3.75 + 0.03 = 13.77\]
Menghitung df
\[\begin{align} df &= (\text{jumlah baris} - 1)(\text{jumlah kolom} - 1) \\ &= (2 - 1)(3 - 1) \\ &= 2 \end{align}\]
4.4 Statistical Decision
χ² hitung = 13,77
df = 2
α = 0,05
χ² tabel (df=2, α=0,05) ≈ 5,99
Karena:
\[13,77>5,99\]
Hipotesis nol ditolak
4.5 Interpretation
Interpretasi Hasil Statistik
Berdasarkan perhitungan uji Chi-Square Independensi, Penolakan H₀ berarti bahwa:
Jenis perangkat (mobile dan desktop) tidak bersifat independen terhadap
Preferensi metode pembayaran (E-Wallet, kartu kredit, COD)
Dengan kata lain:
Terdapat hubungan yang signifikan secara statistik antara jenis perangkat dan metode pembayaran yang dipilih pengguna.
Interpretasi dalam strategi pembayaran digital
Hasil statistik tersebut memiliki implikasi penting bagi strategi bisnis e-commerce, khususnya dalam pengelolaan dan pengembangan metode pembayaran digital.
Mobile → E-Wallet: Optimalkan promo dan kemudahan pembayaran lewat aplikasi mobile.
Desktop → Kartu Kredit: Fokus pada keamanan, kenyamanan, dan opsi cicilan.
COD → Stabil: Tetap tersedia sebagai opsi tambahan, tidak perlu prioritas.
Intinya: Strategi pembayaran harus disesuaikan dengan jenis perangkat untuk meningkatkan kenyamanan dan konversi transaksi.
4.6 Table Conclusions
| Perangkat | Metode Pembayaran | Observasi (O) | Harapan (E) | (O - E) | (O - E)² | (O - E)² / E |
|---|---|---|---|---|---|---|
| Mobile | E-Wallet | 120 | 102,27 | 17,73 | 314,35 | 3,07 |
| Mobile | Kartu Kredit | 80 | 96,59 | -16,59 | 275,22 | 2,85 |
| Mobile | COD | 50 | 51,14 | -1,14 | 1,30 | 0,03 |
| Desktop | E-Wallet | 60 | 77,73 | -17,73 | 314,35 | 4,04 |
| Desktop | Kartu Kredit | 90 | 73,41 | 16,59 | 275,22 | 3,75 |
| Desktop | COD | 40 | 38,86 | 1,14 | 1,30 | 0,03 |
| Total χ² | 13,77 |
5 Case Study 5
Type I and Type II Errors (Conceptual)
A fintech startup tests whether a new fraud detection algorithm reduces fraudulent transactions.
H₀: The new algorithm does not reduce fraud.
H₁: The new algorithm reduces fraud.
Tasks
Explain a Type I Error (α) in this context.
Explain a Type II Error (β) in this context.
Identify which error is more costly from a business perspective.
Discuss how sample size affects Type II Error.
Explain the relationship between α, β, and statistical power.
5.1 Type I Error
Definisi: Type I Error adalah kesalahan menolak H0 padahal H0 benar. Dalam konteks algoritma deteksi penipuan, ini berarti mengklaim bahwa algoritma baru berhasil mengurangi fraud ketika pada kenyataannya tidak ada pengurangan fraud yang nyata. Efek praktisnya adalah perubahan operasional yang tidak perlu, misalnya mengubah model atau parameter yang menyebabkan peningkatan alarm palsu atau biaya operasional tanpa manfaat aktual.
Contoh praktis: Setelah implementasi algoritma baru, jumlah transaksi ditandai sebagai fraud meningkat secara artifisial karena perubahan ambang deteksi, meski tingkat penipuan sebenarnya tidak berkurang. Hal ini bisa menimbulkan gangguan pengalaman pelanggan dan biaya penanganan false alarm.
5.2 Type II Error
Definisi: Type II Error adalah gagal menolak H0 padahal Ha benar. Dalam konteks ini berarti algoritma baru sebenarnya lebih efektif dalam mengurangi fraud, namun uji statistik gagal menunjukkan efek tersebut. Efeknya: keliru mempertahankan status quo, kehilangan peluang pengurangan fraud, potensi kerugian finansial, serta kerusakan reputasi jika fraud tetap tinggi.
Contoh praktis: Fraud rate menurun secara nyata setelah perubahan, tetapi uji hipotesis tidak punya cukup kekuatan untuk membuktikan perbedaan signifikan. Akibatnya, perusahaan tidak mengacak perubahan yang seharusnya diterapkan, sehingga potensi penghematan biaya dan peningkatan keamanan tidak terealisasikan.
5.3 Identify Which Error
Dalam konteks fintech dan algoritma deteksi fraud:
Type I Error (α): Menganggap algoritma efektif padahal tidak efektif.
Dampak: biaya untuk pengembangan, implementasi, dan pelatihan algoritma sia-sia.
Fraud tetap terjadi seperti sebelumnya, tapi perusahaan sudah mengeluarkan biaya tambahan.
Type II Error (β): Menganggap algoritma tidak efektif padahal sebenarnya efektif.
Dampak: fraud yang sebenarnya bisa dicegah tetap terjadi, menimbulkan kerugian finansial nyata.
Perusahaan melewatkan kesempatan untuk mengurangi fraud dan meningkatkan keamanan transaksi.
Kesimpulan Bisnis
Dari perspektif bisnis fintech, Type II Error biasanya lebih mahal daripada Type I Error, karena kerugian akibat fraud yang tidak dicegah bisa jauh lebih besar daripada biaya implementasi algoritma yang gagal.
Kesimpulan: Lebih baik menghindari melewatkan algoritma yang efektif (Type II) meskipun ada risiko salah menganggap algoritma efektif (Type I), tetapi kedua jenis kesalahan perlu diminimalkan sesuai kebijakan risiko bisnis dan tolok ukur biaya/risiko yang spesifik.
5.4 Influence of Sample Size
Pengaruh Ukuran Sampel terhadap Type II Error (β)
Type II Error (β) terjadi ketika kita gagal menolak H₀ padahal H₁ benar—dalam konteks ini, menganggap algoritma tidak efektif padahal sebenarnya efektif.
Salah satu faktor utama yang memengaruhi β adalah ukuran sampel.
Bagaimana ukuran sampel mempengaruhi β?
- Ukuran sampel besar → Type II Error menurun
Data lebih representatif dan variabilitas lebih kecil.
Algoritma yang benar-benar efektif lebih mudah dideteksi.
Probabilitas “false negative” (tidak mendeteksi algoritma efektif) lebih rendah.
- Ukuran sampel kecil → Type II Error meningkat
Data kurang representatif, fluktuasi acak lebih besar.
Algoritma yang sebenarnya efektif bisa terlewat karena efeknya tidak terlihat signifikan secara statistik.
Probabilitas “false negative” lebih tinggi.
Semakin besar sampel → hasil uji statistik lebih akurat → peluang mendeteksi algoritma yang efektif meningkat → β menurun → statistical power meningkat.
5.5 Relationship
Definisi Dasar
- α (Alpha / Type I Error)
Probabilitas menolak H₀ padahal H₀ benar.
Dalam konteks fintech: menganggap algoritma efektif padahal tidak efektif.
- β (Beta / Type II Error)
Probabilitas gagal menolak H₀ padahal H₁ benar.
Dalam konteks fintech: menganggap algoritma tidak efektif padahal sebenarnya efektif.
- Statistical Power
Power = 1 – β
Probabilitas mendeteksi efek nyata (H₁ benar) secara statistik.
Dalam konteks fintech: peluang untuk menemukan algoritma yang benar-benar efektif.
Hubungan α, β, dan Power
- Trade-off antara α dan β
Menurunkan α (membuat uji lebih ketat) → peluang Type I Error berkurang → uji menjadi konservatif.
Akibatnya, β bisa meningkat, artinya kemungkinan false negative lebih tinggi.
Sebaliknya, menaikkan α → risiko Type I Error meningkat, tapi β menurun → peluang mendeteksi efek nyata lebih besar.
- Ukuran sampel mempengaruhi β dan Power
Semakin besar ukuran sampel → variabilitas berkurang → β menurun → power meningkat.
Semakin kecil ukuran sampel → variabilitas tinggi → β meningkat → power menurun.
- Power dan pengambilan keputusan
Power tinggi → lebih besar kemungkinan mendeteksi algoritma yang efektif.
Power rendah → ada risiko melewatkan algoritma yang benar-benar bermanfaat (Type II Error).
Intinya:
α = risiko menyatakan algoritma efektif padahal tidak (Type I)
β = risiko melewatkan algoritma yang efektif (Type II)
Power = 1 – β = kemampuan uji untuk mendeteksi efek nyata
Ukuran sampel & α memengaruhi β dan power, sehingga desain eksperimen harus seimbang sesuai risiko bisnis.
5.6 Table Conclusions
| No | Pertanyaan | Jawaban Ringkas | Poin Penting |
|---|---|---|---|
| 1 | Jelaskan Type I Error (α) | Menolak H₀ padahal H₀ benar. Startup menganggap algoritma efektif padahal tidak. | - Menolak H₀ padahal benar - Algoritma dianggap efektif padahal tidak - Biaya implementasi sia-sia |
| 2 | Jelaskan Type II Error (β) | Gagal menolak H₀ padahal H₁ benar. Startup menganggap algoritma tidak efektif padahal sebenarnya efektif. | - Gagal mendeteksi efek nyata - Fraud tetap terjadi - Kesempatan mengurangi kerugian hilang |
| 3 | Error mana lebih mahal | Type II Error lebih mahal karena fraud tetap terjadi, kerugian finansial nyata lebih besar dibanding biaya salah implementasi algoritma (Type I). | - Type II → kehilangan kesempatan mengurangi fraud - Type I → biaya implementasi sia-sia |
| 4 | Pengaruh ukuran sampel | Semakin besar ukuran sampel → β menurun → peluang mendeteksi algoritma efektif meningkat → power meningkat. | - Ukuran sampel besar → hasil lebih akurat - Ukuran sampel kecil → risiko Type II tinggi |
| 5 | Hubungan α, β, dan power | - α = risiko Type I Error - β = risiko Type II Error - Power = 1 – β = kemampuan mendeteksi efek nyata - Trade-off: menurunkan α bisa menaikkan β; ukuran sampel memengaruhi β dan power |
- α dan β saling terkait - Power meningkat jika β menurun (ukuran sampel besar) - Desain uji harus seimbang sesuai risiko bisnis |
6 Case Study 6
P-Value and Statistical Decision Making
A churn prediction model evaluation yields the following results:
Test statistic = 2.31
p-value = 0.021
Significance level: α = 0.05
Tasks
Explain the meaning of the p-value.
Make a statistical decision.
Translate the decision into non-technical language for management.
Discuss the risk if the sample is not representative.
Explain why the p-value does not measure effect size.
6.1 Definition
Definisi Umum
p-value adalah probabilitas mendapatkan hasil yang sama ekstrem atau lebih ekstrem daripada hasil yang diamati, dengan asumsi hipotesis nol (H₀) benar.
Dengan kata lain, p-value memberi tahu kita seberapa konsisten data dengan H₀.
Dalam Konteks Model Prediksi Churn
- Hipotesis:
H₀: Model churn tidak memiliki pengaruh (misalnya, prediksi churn sama baiknya seperti tebakan acak).
H₁: Model churn memiliki pengaruh (prediksi churn lebih baik dari acak).
- Hasil uji:
Test statistic = 2,31
p-value = 0,021
Interpretasi:
Jika model sebenarnya tidak efektif (H₀ benar), peluang mendapatkan hasil uji se-ekstrem 2,31 hanya 2,1%.
Dengan kata lain, hasil ini tidak mungkin terjadi secara kebetulan, sehingga menjadi bukti untuk menolak H₀.
6.2 Statistical Decision
Data yang Diberikan
Test statistic = 2,31
p-value = 0,021
Significance level (α) = 0,05
Langkah-langkah Pengambilan Keputusan
- Tentukan Hipotesis
H₀: Model churn tidak memiliki pengaruh (tidak lebih baik dari tebakan acak).
H₁: Model churn memiliki pengaruh (lebih baik dari tebakan acak).
- Bandingkan p-value dengan α
α = 0,05 → batas toleransi risiko kesalahan Type I.
p-value = 0,021
- Terapkan aturan pengambilan keputusan
Jika p-value ≤ α, maka tolak H₀.
Jika p-value > α, maka gagal menolak H₀.
- Hitung atau periksa test statistic (opsional)
Test statistic = 2,31 → cukup besar untuk menghasilkan p-value kecil.
Konfirmasi: p-value < α → mendukung keputusan menolak H₀.
Keputusan:
Karena p-value 0,021 < α 0,05, maka H₀ ditolak.
Kesimpulan statistik: Model churn signifikan secara statistik, artinya model memiliki pengaruh nyata dalam memprediksi churn.
6.3 Interpretation of Statistical Decision
Manajemen biasanya tidak menggunakan istilah “p-value” atau “H₀/H₁”. Jadi kita perlu menerjemahkan hasil statistik menjadi arti bisnis nyata:
- Fokus pada hasil yang penting bagi bisnis
Model churn mampu memprediksi pelanggan yang berpotensi berhenti.
Hasil ini tidak terjadi secara kebetulan, artinya model benar-benar memberikan insight yang bermanfaat.
- Contoh bahasa sederhana
“Berdasarkan analisis data, model prediksi churn ini terbukti bekerja dan dapat digunakan untuk membantu strategi retensi pelanggan.”
Atau: “Model ini efektif untuk mengidentifikasi pelanggan yang berisiko berhenti, sehingga tim marketing bisa mengambil tindakan yang tepat.”
- Manfaat bagi keputusan bisnis
Strategi retensi dapat difokuskan pada pelanggan yang benar-benar berisiko churn.
Efisiensi biaya karena tidak semua pelanggan harus diberi insentif.
Meningkatkan revenue retention dengan meminimalkan churn.
6.4 Risk
Definisi Sampel Representatif
Sampel representatif adalah sampel yang mewakili populasi secara akurat, baik dalam karakteristik, perilaku, maupun distribusi.
Dalam konteks churn: sampel harus mencerminkan seluruh pelanggan (usia, lokasi, nilai transaksi, jenis produk, dll).
Masalah Jika Sampel Tidak Representatif
- p-value bisa menyesatkan
p-value dihitung berdasarkan data sampel.
Jika sampel tidak mencerminkan populasi, p-value bisa terlalu rendah atau terlalu tinggi, sehingga:
Model terlihat signifikan padahal sebenarnya tidak (false positive)
Model terlihat tidak signifikan padahal sebenarnya efektif (false negative)
- Keputusan bisnis bisa salah
Model diterapkan ke seluruh populasi pelanggan, tetapi hasil prediksi tidak akurat.
Misalnya:
Model prediksi churn tampak efektif pada sampel, tapi gagal mengenali pelanggan berisiko di populasi nyata.
Strategi retensi yang dibuat berdasarkan model bisa menghabiskan biaya tanpa hasil nyata.
- Kehilangan insight penting
Pelanggan dengan karakteristik berbeda dari sampel mungkin tidak terdeteksi, sehingga strategi retensi tidak menyasar seluruh segmen berisiko.
6.5 Measure effect Size
Perbedaan p-value dan Effect Size
- p-value menunjukkan signifikansi statistik, bukan besar efek
p-value = probabilitas data muncul jika H₀ benar.
Contoh: p-value = 0,021 → model signifikan secara statistik.
Tapi p-value tidak memberitahu seberapa banyak churn yang bisa dicegah atau seberapa efektif model secara praktis.
- p-value dipengaruhi oleh ukuran sampel
Sampel besar → efek kecil bisa tetap memberikan p-value sangat rendah (signifikan).
Sampel kecil → efek besar bisa menghasilkan p-value tinggi (tidak signifikan).
Ini menunjukkan p-value tidak selalu mencerminkan kekuatan atau besarnya efek.
- Effect size memberikan konteks praktis
Untuk mengetahui apakah model cukup bermanfaat bagi bisnis, gunakan ukuran efek:
Accuracy, precision, recall, AUC
Cohen’s d, odds ratio, R² (tergantung jenis data)
Contoh dalam Konteks Churn
Model A memiliki p-value = 0,021 → signifikan
Namun, model hanya meningkatkan deteksi churn 1% saja → effect size kecil → manfaat bisnis mungkin minimal
6.6 Table Conclusions
| No | Pertanyaan | Statistik | Interpretasi Bisnis / Non-Technical |
|---|---|---|---|
| 1 | Makna p-value | Probabilitas mendapatkan hasil se-ekstrem data yang diamati jika H₀ benar. Contoh: p = 0,021 → ada 2,1% kemungkinan hasil ini terjadi jika H₀ benar. | Semakin kecil p-value → semakin tidak konsisten data dengan H₀. Artinya hasil uji bukan kebetulan. |
| 2 | Keputusan statistik | Bandingkan p-value (0,021) dengan α (0,05). Karena p < α → Tolak H₀. Model churn signifikan. | Model churn terbukti secara statistik efektif untuk memprediksi pelanggan berisiko berhenti. |
| 3 | Terjemahan untuk manajemen | Tolak H₀ berarti model bekerja. | “Model prediksi churn ini terbukti efektif dan dapat digunakan untuk strategi retensi pelanggan. Hasil ini tidak terjadi secara kebetulan.” |
| 4 | Risiko sampel tidak representatif | p-value dihitung dari sampel. Jika sampel tidak representatif → p-value bisa menyesatkan. | Model mungkin terlihat efektif pada sampel, tetapi prediksi di populasi nyata bisa tidak akurat, berisiko strategi retensi salah arah. |
| 5 | Mengapa p-value bukan ukuran effect size | p-value menunjukkan signifikansi statistik, bukan besar efek. Bisa kecil meski efek praktis kecil, tergantung ukuran sampel. | Untuk menilai seberapa besar pengaruh model, gunakan effect size / metrics performa (accuracy, precision, recall, AUC). p-value hanya menunjukkan ada efek atau tidak. |