STUDY CASES
Statistical Inferences~ Week 14
library(htmltools)
HTML('
<div class="profile-card">
<div>
<img src="Almetcokkk.JPG">
</div>
<div class="profile-text">
<h3>Verónica Maria L F Xavier</h3>
<div class="profile-description">
as a Student Data Science in Institut Teknologi Sains Bandung
</div>
<div class="profile-info-row">
<p class="profile-info-item">
<b>Mentored by:</b> <span class="mentor-name">Mr. Bakti Siregar M.Sc.,CDS</span>
</p>
</div>
</div>
</div>
')
Verónica Maria L F Xavier
Mentored by: Mr. Bakti Siregar M.Sc.,CDS
1 CASE STUDY 1
1.1 One-Sample Z-Test (Statistical Hypotheses)
Sebuah platform pembelajaran digital mengklaim bahwa rata-rata waktu belajar harian pengguna adalah 120 menit. Berdasarkan catatan historis, simpangan baku populasi diketahui sebesar 15 menit.
Untuk menguji klaim tersebut, diambil sampel acak sebanyak 64 pengguna, dan diperoleh rata-rata waktu belajar sebesar 116 menit.
Informasi yang digunakan dalam analisis ini adalah sebagai berikut:
| Parameter | Nilai |
|---|---|
| Rata-rata populasi (μ₀) | 120 |
| Simpangan baku populasi (σ) | 15 |
| Ukuran sampel (n) | 64 |
| Rata-rata sampel (x̄) | 116 |
Karena simpangan baku populasi diketahui dan ukuran sampel cukup besar, maka analisis dilakukan menggunakan One-Sample Z-Test dengan tingkat signifikansi α = 0.05.
1.2 Tasks
1.2.1 Formulasi Hipotesis
- Hipotesis yang diuji adalah:
Hipotesis Nol (H₀): μ = 120 (Rata-rata waktu belajar pengguna sama dengan 120 menit)
Hipotesis Alternatif (H₁): μ ≠ 120 (Rata-rata waktu belajar pengguna berbeda dari 120 menit)
Uji ini bersifat dua arah (two-tailed test).
1.2.2 Identifikasi Uji Statistik
Uji statistik yang digunakan adalah One-Sample Z-Test, dengan alasan:
Simpangan baku populasi diketahui (σ = 15)
Data berbentuk numerik (waktu belajar)
Ukuran sampel besar (n = 64)
Tujuan pengujian adalah membandingkan rata-rata sampel dengan rata-rata populasi
####Perhitungan Statistik Uji dan p-value (α = 0.05)
Rumus statistik uji Z:
\[Z = \frac{\bar{x} - \mu_0}{\sigma / \sqrt{n}}\]
## [1] -2.133333- Menghitung p-value dua-arah
## [1] 0.032897391.2.3 Keputusan Statistik
Dengan tingkat signifikansi:
α = 0.05
Statistik Z ≈ -2.13
p-value ≈ 0.033
Karena:
\(p\text{-value} < \alpha \; (0.033 < 0.05)\)
Maka keputusan statistik adalah:
Menolak Hipotesis Nol (H₀)
1.2.4 Interpretasi dalam Konteks Business Analytics
Hasil analisis menunjukkan bahwa rata-rata waktu belajar harian pengguna secara signifikan berbeda dari 120 menit.
Dalam konteks bisnis:
Klaim platform bahwa pengguna belajar rata-rata 120 menit tidak didukung oleh data sampel
Rata-rata aktual pengguna cenderung lebih rendah (116 menit)
Manajemen dapat mempertimbangkan:
Evaluasi ulang strategi engagement pengguna
Peningkatan fitur pembelajaran agar durasi belajar meningkat
Penyesuaian klaim pemasaran berdasarkan data terbaru
1.3 KESIMPULAN
Berdasarkan One-Sample Z-Test pada tingkat signifikansi 5%, terdapat bukti statistik yang cukup untuk menyatakan bahwa rata-rata waktu belajar pengguna berbeda dari 120 menit.
2 CASE STUDY 2
2.1 One-Sample T-Test (σ Tidak Diketahui, Sampel Kecil)
Tim UX Research ingin mengetahui apakah rata-rata waktu penyelesaian tugas (task completion time) pada sebuah aplikasi baru berbeda dari 10 menit.
Data dikumpulkan dari 10 pengguna dengan hasil (dalam menit):
9.2, 10.5, 9.8, 10.1, 9.6, 10.3, 9.9, 9.7, 10.0, 9.5
Karena:
Ukuran sampel kecil (n < 30)
Simpangan baku populasi tidak diketahui
Maka digunakan One-Sample t-Test.
2.2 Task
2.2.1 Hipotesis (Two-Tailed)
- Hipotesis Nol (H₀):
Rata-rata waktu penyelesaian tugas sama dengan 10 menit
\(H_0: \mu = 10\)
- Hipotesis Alternatif (H₁):
Rata-rata waktu penyelesaian tugas berbeda dari 10 menit
\(H_1: \mu_1 \neq 10\)
2.2.2 Uji Hipotesis yang Digunakan
Uji statistik yang digunakan adalah One-Sample t-Test (dua arah / two-tailed), karena:
Data numerik (waktu)
Sampel kecil
Standar deviasi populasi tidak diketahui
2.2.3 Perhitungan t-statistic dan p-value (α = 0.05)
waktu <- c(9.2, 10.5, 9.8, 10.1, 9.6,
10.3, 9.9, 9.7, 10.0, 9.5)
mean_waktu <- mean(waktu)
sd_waktu <- sd(waktu)
n_waktu <- length(waktu)
mean_waktu## [1] 9.86## [1] 0.3864367## [1] 10##
## One Sample t-test
##
## data: waktu
## t = -1.1456, df = 9, p-value = 0.2815
## alternative hypothesis: true mean is not equal to 10
## 95 percent confidence interval:
## 9.58356 10.13644
## sample estimates:
## mean of x
## 9.86Ringkasan hasil :
Rata-rata sampel ≈ 9.86 menit
t-statistic ≈ -1.27
Derajat kebebasan (df) = 9
p-value ≈ 0.236
2.2.4 Keputusan Statistik
Nilai p-value > 0.05
Maka gagal menolak H₀
- Keputusan: Tidak terdapat bukti statistik yang cukup untuk menyatakan bahwa rata-rata waktu penyelesaian tugas berbeda secara signifikan dari 10 menit.
2.2.5 Pengaruh Ukuran Sampel terhadap Keandalan Inferensi
Ukuran sampel sangat memengaruhi keandalan inferensi statistik:
Sampel kecil:
Variabilitas lebih besar
Statistical power lebih rendah
Sulit mendeteksi perbedaan kecil
Sampel besar:
Estimasi rata-rata lebih stabil
Interval kepercayaan lebih sempit
Hasil inferensi lebih andal
Dalam studi ini, jumlah pengguna yang terbatas (10 orang) dapat menyebabkan perbedaan kecil tidak terdeteksi secara signifikan.
2.3 KESIMPULAN
Berdasarkan hasil One-Sample t-Test, tidak ditemukan perbedaan yang signifikan antara rata-rata waktu penyelesaian tugas aplikasi baru dengan nilai acuan 10 menit pada tingkat signifikansi 5%.
Meskipun rata-rata sampel sedikit lebih rendah dari 10 menit, perbedaan tersebut belum cukup kuat secara statistik, kemungkinan karena ukuran sampel yang kecil. Oleh karena itu, disarankan untuk melakukan pengujian lanjutan dengan jumlah pengguna yang lebih besar agar hasil analisis menjadi lebih meyakinkan dan representatif.
3 CASE STUDY 3
3.1 Two-Sample T-Test (A/B Testing)
Studi kasus ini membahas penggunaan Two-Sample T-Test (A/B Testing) untuk membandingkan rata-rata durasi sesi (dalam menit) antara dua versi landing page, yaitu Versi A dan Versi B.
Tim product analytics melakukan A/B testing untuk mengevaluasi apakah terdapat perbedaan rata-rata durasi sesi pengguna antara dua versi landing page.
Data Ringkasan
| Versi | Ukuran Sampel (n) | Rata-rata (Menit) | Standar Deviasi |
|---|---|---|---|
| A | 25 | 4.8 | 1.2 |
| B | 25 | 5.4 | 1.4 |
Interpretasi tabel
Kedua versi memiliki ukuran sampel yang sama (n = 25).
Rata-rata durasi sesi Versi B (5.4 menit) lebih tinggi dibanding Versi A (4.8 menit).
Standar deviasi relatif mirip, menunjukkan variasi data yang sebanding.
3.2 Tasks
3.2.1 Formulasi Hipotesis
Hipotesis yang digunakan dalam pengujian ini adalah:
Hipotesis Nol (H₀)
Tidak terdapat perbedaan rata-rata durasi sesi antara Versi A dan Versi B.\(H_0 : \mu_A = \mu_B\)
Hipotesis Alternatif (H₁)
Terdapat perbedaan rata-rata durasi sesi antara Versi A dan Versi B.\(H_1 : \mu_A \neq \mu_B\)
Pengujian dilakukan dua arah (two-tailed test).
3.2.2 Jenis Uji t yang Digunakan
Jenis uji statistik yang digunakan adalah:
Independent Two-Sample t-Test
Alasan:
Dua kelompok independen (pengguna berbeda).
Data berupa rata-rata durasi sesi (numerik kontinu).
Ukuran sampel relatif kecil (n < 30).
Standar deviasi antar kelompok tidak diasumsikan sama → Welch t-test.
3.2.3 Perhitungan Statistik Uji dan p-value
# Parameter
mean_A <- 4.8
mean_B <- 5.4
sd_A <- 1.2
sd_B <- 1.4
n_A <- 25
n_B <- 25
# Statistik t (Welch)
t_stat <- (mean_A - mean_B) / sqrt((sd_A^2 / n_A) + (sd_B^2 / n_B))
t_stat## [1] -1.626978# Derajat kebebasan Welch
df <- ((sd_A^2 / n_A + sd_B^2 / n_B)^2) /
(((sd_A^2 / n_A)^2 / (n_A - 1)) + ((sd_B^2 / n_B)^2 / (n_B - 1)))
df## [1] 46.90289## [1] 0.1104422Hasil Perhitungan
Nilai t-statistic ≈ -1.62
Derajat kebebasan (df) ≈ 47
p-value ≈ 0.11
3.2.4 Keputusan Statistik (α = 0.05)
Kriteria pengujian:
Jika p-value ≤ 0.05 → Tolak H₀
Jika p-value > 0.05 → Gagal menolak H₀
Keputusan
Karena p-value (0.11) > 0.05, maka gagal
menolak hipotesis nol (H₀).
Artinya, secara statistik tidak terdapat perbedaan yang signifikan antara rata-rata durasi sesi Versi A dan Versi B.
3.2.5 Interpretasi untuk Pengambilan Keputusan Produk
Berdasarkan hasil uji statistik:
Versi B memiliki rata-rata durasi sesi lebih tinggi.
Namun, perbedaan tersebut tidak signifikan secara statistik pada tingkat signifikansi 5%.
Belum ada bukti kuat bahwa Versi B lebih baik daripada Versi A.
Rekomendasi untuk tim produk:
Lanjutkan eksperimen dengan ukuran sampel lebih besar, atau
Evaluasi metrik tambahan (conversion rate, bounce rate, dll), atau
Lakukan A/B testing lanjutan dengan perubahan desain yang lebih signifikan.
3.3 KESIMPULAN
Two-Sample T-Test menunjukkan bahwa perbedaan rata-rata durasi sesi antara Versi A dan Versi B belum signifikan secara statistik, sehingga keputusan bisnis sebaiknya tidak hanya bergantung pada hasil ini saja.
4 CASE STUDY 4
4.1 Chi-Square Test of Independence
Sebuah perusahaan e-commerce ingin mengetahui apakah jenis perangkat (device type) yang digunakan pelanggan berhubungan dengan preferensi metode pembayaran (payment method). Data yang dikumpulkan disajikan dalam tabel kontingensi berikut:
| Device / Payment | E-Wallet | Credit Card | Cash on Delivery |
|---|---|---|---|
| Mobile | 120 | 80 | 50 |
| Desktop | 60 | 90 | 40 |
4.2 Task
4.2.1 Hipotesis
Hipotesis Nol (H₀): Tidak terdapat hubungan antara jenis perangkat dan preferensi metode pembayaran (keduanya independen).
Hipotesis Alternatif (H₁): Terdapat hubungan antara jenis perangkat dan preferensi metode pembayaran.
4.2.2 Uji Statistik yang Digunakan
Uji statistik yang digunakan adalah Chi-Square Test of Independence, karena:
Data bersifat kategorik
Ingin mengetahui hubungan antara dua variabel kategorik
Data disajikan dalam tabel kontingensi
4.2.3 Perhitungan Statistik Chi-Square (χ²)
payment_data <- matrix(
c(120, 80, 50,
60, 90, 40),
nrow = 2,
byrow = TRUE
)
rownames(payment_data) <- c("Mobile", "Desktop")
colnames(payment_data) <- c("E-Wallet", "Credit Card", "Cash on Delivery")
knitr::kable(payment_data)| E-Wallet | Credit Card | Cash on Delivery | |
|---|---|---|---|
| Mobile | 120 | 80 | 50 |
| Desktop | 60 | 90 | 40 |
4.2.4 Nilai p-value (α = 0.05)
Dari hasil uji Chi-Square diperoleh:
Nilai Chi-Square (χ²) ≈ 22.56
Derajat kebebasan (df) = 2
p-value ≈ 1.27 × 10⁻⁵
- Keputusan:
Karena p-value < 0.05, maka H₀ ditolak
4.2.5 Interpretasi Hasil (Strategi Pembayaran Digital)
Hasil uji menunjukkan bahwa terdapat hubungan yang signifikan antara jenis perangkat dan preferensi metode pembayaran.
Implikasi strategis bagi perusahaan e-commerce:
Pengguna Mobile lebih cenderung menggunakan E-Wallet
Pengguna Desktop relatif lebih banyak menggunakan Credit Card
Perusahaan dapat:
Mengoptimalkan tampilan dan promosi E-Wallet pada platform mobile
Menyediakan pengalaman pembayaran kartu kredit yang lebih baik di desktop
Menyesuaikan strategi promosi pembayaran berdasarkan jenis perangkat pengguna
Dengan demikian, personalisasi metode pembayaran berdasarkan device dapat meningkatkan konversi dan kepuasan pelanggan.
4.3 KESIMPULAN
Berdasarkan hasil Uji Chi-Square Test of Independence, diperoleh nilai p-value < 0.05, sehingga Hipotesis Nol (H₀) ditolak. Hal ini menunjukkan bahwa jenis perangkat yang digunakan pelanggan berhubungan secara signifikan dengan preferensi metode pembayaran.
Pengguna perangkat mobile cenderung lebih memilih E-Wallet, sedangkan pengguna desktop lebih banyak menggunakan Credit Card. Temuan ini mengindikasikan bahwa perilaku pembayaran pelanggan berbeda berdasarkan perangkat yang digunakan.
Oleh karena itu, perusahaan e-commerce disarankan untuk menyesuaikan strategi pembayaran digital berdasarkan jenis perangkat, guna meningkatkan efisiensi transaksi, kenyamanan pengguna, dan tingkat konversi penjualan.
5 CASE STUDY 5
5.1 Type I and Type II Errors (Konseptual)
Sebuah perusahaan fintech menguji apakah algoritma deteksi penipuan (fraud detection) yang baru mampu mengurangi jumlah transaksi fraud.
Hipotesis yang digunakan adalah:
Hipotesis Nol (H₀): Algoritma baru tidak mengurangi fraud.
Hipotesis Alternatif (H₁): Algoritma baru mengurangi fraud.
5.2 Task
5.2.1 Type I Error (Kesalahan Tipe I / α)
Type I Error terjadi ketika perusahaan menolak H₀ padahal H₀ benar.
Dalam konteks ini, Type I Error berarti:
Perusahaan menyimpulkan bahwa algoritma baru berhasil mengurangi fraud,
Padahal sebenarnya algoritma tersebut tidak efektif.
Dampak:
Perusahaan mengimplementasikan algoritma yang tidak benar-benar bekerja
Berpotensi menimbulkan kerugian finansial dan operasional
Risiko kepercayaan pelanggan menurun jika fraud tetap terjadi
5.2.2 Type II Error (Kesalahan Tipe II / β)
Type II Error terjadi ketika perusahaan gagal menolak H₀ padahal H₁ benar.
Dalam konteks ini, Type II Error berarti:
Perusahaan menyimpulkan bahwa algoritma baru tidak mengurangi fraud,
Padahal algoritma tersebut sebenarnya efektif.
Dampak:
Perusahaan kehilangan kesempatan untuk menggunakan sistem yang lebih baik
Fraud tetap tinggi karena algoritma lama dipertahankan
Kehilangan keunggulan kompetitif dibanding fintech lain
5.2.3 Kesalahan yang Lebih Mahal dari Perspektif Bisnis
Dari perspektif bisnis fintech, Type II Error (β) sering kali lebih mahal, karena:
Perusahaan gagal mengadopsi teknologi yang sebenarnya efektif
Fraud tetap terjadi dalam jangka panjang
Kerugian finansial dan reputasi dapat terus berlanjut
Namun, tingkat keparahan dapat bergantung pada konteks dan toleransi risiko perusahaan.
5.2.4 Pengaruh Ukuran Sampel terhadap Type II Error
Ukuran sampel memiliki hubungan langsung dengan Type II Error:
Sampel kecil -> peluang Type II Error lebih besar
Sampel besar -> peluang Type II Error lebih kecil
Dengan ukuran sampel yang lebih besar:
Perbedaan nyata lebih mudah terdeteksi
Algoritma yang efektif tidak mudah terlewatkan
Keputusan bisnis menjadi lebih akurat
5.2.5 Hubungan antara α, β, dan Statistical Power
Hubungan antara ketiga konsep tersebut adalah:
α (alpha): Probabilitas melakukan Type I Error
β (beta): Probabilitas melakukan Type II Error
Statistical Power: Probabilitas menolak H₀ ketika H₁ benar
\[Power=1−β\]
Hubungan penting:
Semakin kecil β, semakin besar statistical power
Meningkatkan ukuran sampel dapat meningkatkan power tanpa menaikkan α secara signifikan
Power yang tinggi penting agar algoritma efektif tidak salah ditolak
5.3 KESIMPULAN
Dalam pengujian algoritma deteksi fraud, Type I Error terjadi ketika perusahaan salah menganggap algoritma efektif, sedangkan Type II Error terjadi ketika perusahaan gagal mengenali algoritma yang sebenarnya mampu mengurangi fraud.
Dari sudut pandang bisnis fintech, Type II Error cenderung lebih merugikan, karena dapat menyebabkan perusahaan kehilangan solusi yang efektif dan membiarkan fraud terus berlangsung. Oleh karena itu, penting bagi perusahaan untuk menggunakan ukuran sampel yang memadai dan memastikan statistical power yang tinggi, sehingga keputusan implementasi algoritma dapat dilakukan secara tepat dan berbasis data.
6 CASE STUDY 6
6.1 P-Value dan Pengambilan Keputusan Statistik
Evaluasi model prediksi churn menghasilkan informasi statistik sebagai berikut:
Nilai statistik uji (test statistic) = 2.31
Nilai p-value = 0.021
Tingkat signifikansi (α) = 0.05
Pengujian ini dilakukan untuk menilai apakah kinerja model prediksi churn memberikan hasil yang signifikan secara statistik atau hanya terjadi karena faktor kebetulan.
Perumusan Hipotesis
Dalam pengujian statistik ini, hipotesis yang digunakan adalah:
Hipotesis Nol (H₀):
Model prediksi churn tidak memiliki perbedaan atau pengaruh yang signifikan (hasil model terjadi secara kebetulan).Hipotesis Alternatif (H₁):
Model prediksi churn memiliki perbedaan atau pengaruh yang signifikan secara statistik.
6.2 Task
6.2.1 Penjelasan Makna P-Value
P-value merupakan probabilitas untuk memperoleh nilai statistik uji yang sama ekstrem atau lebih ekstrem dibandingkan hasil yang diamati, dengan asumsi bahwa hipotesis nol (H₀) adalah benar.
Pada studi kasus ini, nilai p-value sebesar 0.021 menunjukkan bahwa terdapat 2,1% kemungkinan hasil evaluasi model terjadi secara kebetulan jika sebenarnya model tidak memiliki pengaruh yang signifikan.
Nilai p-value yang lebih kecil dari tingkat signifikansi mengindikasikan adanya bukti statistik yang cukup kuat untuk menolak hipotesis nol.
6.2.2 Keputusan Statistik
Aturan pengambilan keputusan statistik adalah sebagai berikut:
Jika p-value ≤ α, maka H₀ ditolak
Jika p-value > α, maka H₀ gagal ditolak
Karena p-value (0.021) < α (0.05), maka keputusan statistik yang diambil adalah:
Menolak hipotesis nol (H₀).
Dengan demikian, dapat disimpulkan bahwa hasil evaluasi model prediksi churn signifikan secara statistik.
6.2.3 Interpretasi Hasil Secara Statistik
Nilai statistik uji sebesar 2.31 menunjukkan bahwa hasil pengujian berada cukup jauh dari nilai yang diharapkan di bawah hipotesis nol. Hal ini memperkuat bukti bahwa model prediksi churn memberikan hasil yang berbeda secara signifikan dibandingkan kondisi tanpa pengaruh.
Signifikansi statistik ini menunjukkan bahwa performa model layak untuk dipertimbangkan dalam analisis lanjutan.
6.2.4 Terjemahan Keputusan dalam Bahasa Non-Teknis untuk Manajemen
Dalam bahasa yang lebih sederhana dan mudah dipahami oleh manajemen:
Berdasarkan hasil analisis, model prediksi churn terbukti bekerja dengan baik dan hasilnya tidak muncul secara kebetulan. Model ini memiliki dasar analisis yang kuat sehingga dapat digunakan sebagai alat pendukung dalam pengambilan keputusan bisnis, khususnya dalam strategi mempertahankan pelanggan.
Dengan kata lain, model dapat membantu perusahaan mengidentifikasi pelanggan yang berpotensi churn secara lebih andal.
6.2.5 Risiko Jika Sampel Tidak Representatif
Meskipun hasil pengujian menunjukkan signifikansi statistik, terdapat risiko jika data sampel yang digunakan tidak representatif terhadap populasi pelanggan secara keseluruhan.
Beberapa risiko yang mungkin terjadi antara lain :
Model terlihat akurat pada data uji tetapi gagal ketika diterapkan pada data pelanggan sebenarnya.
Terjadi bias terhadap kelompok pelanggan tertentu, misalnya hanya pelanggan lama atau pelanggan dari segmen tertentu.
Keputusan bisnis yang diambil dapat menjadi tidak efektif atau merugikan perusahaan.
Oleh karena itu, penting memastikan bahwa data yang digunakan mencerminkan karakteristik populasi pelanggan secara menyeluruh.
6.2.6 Alasan Mengapa P-Value Tidak Mengukur Besarnya Efek
P-value hanya menunjukkan keberadaan signifikansi statistik, bukan besarnya dampak atau kekuatan pengaruh dari suatu model atau variabel.
Beberapa alasan utama p-value tidak mengukur effect size adalah :
P-value sangat dipengaruhi oleh ukuran sampel.
Sampel yang besar dapat menghasilkan p-value kecil meskipun efeknya sangat kecil.
P-value tidak memberikan informasi mengenai relevansi praktis dari hasil analisis.
Untuk menilai besarnya pengaruh secara lebih komprehensif, diperlukan metrik tambahan seperti:
Effect size
Confidence interval
Akurasi, precision, recall, atau AUC pada model prediksi
6.3 Kesimpulan
Berdasarkan hasil evaluasi statistik, model prediksi churn menunjukkan hasil yang signifikan secara statistik dengan nilai p-value sebesar 0.021 pada tingkat signifikansi 5%. Hal ini mengindikasikan bahwa performa model tidak terjadi secara kebetulan dan hipotesis nol dapat ditolak.
Namun demikian, signifikansi statistik tidak secara otomatis menjamin dampak praktis yang besar. Validitas hasil tetap bergantung pada kualitas dan representativitas data yang digunakan. Oleh karena itu, model sebaiknya dievaluasi lebih lanjut menggunakan ukuran effect size dan metrik kinerja lainnya sebelum diimplementasikan secara penuh dalam pengambilan keputusan bisnis.