1 .Case Study 1

Case Study 1 – Confidence Interval for Mean (σ Known)

Diketahui:

• Standar deviasi populasi: = 3.2
• Ukuran sampel: n = 100
• Rata-rata sampel: {x} = 12.6

1. Identifikasi uji statistik yang tepat

Uji statistik yang digunakan adalah Confidence Interval untuk Mean dengan σ diketahui (Z-interval / Z-test).

Alasan:

• Standar deviasi populasi diketahui
• Ukuran sampel besar (n ≥ 30)
• Data berasal dari populasi besar (platform e-commerce)

2. Menghitung Confidence Interval

Rumus Confidence Interval (σ diketahui)

\(CI = \bar{x} \pm Z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}\)

Standard Error

\(SE = \frac{3.2}{\sqrt{100}} = \frac{3.2}{10} = 0.32\)

A.Confidence Interval 90%

Nilai Z = 1.645

\(CI = 12.6 \pm (1.645 \times 0.32)\)

\(CI = 12.6 \pm 0.526\)

\(\boxed{(12.07,\; 13.13)}\)

B. Confidence Interval 95%

Nilai Z = 1.96

\(CI = 12.6 \pm (1.96 \times 0.32)\)

\(CI = 12.6 \pm 0.627\)

\(\boxed{(11.97,\; 13.23)}\)

C. Confidence Interval 99%

Nilai Z = 2.576

\(CI = 12.6 \pm (2.576 \times 0.32)\)

\(CI = 12.6 \pm 0.824\)

\(\boxed{(11.78,\; 13.42)}\)

3. Perbandingan Confidence Interval Perbandingan confidence interval menunjukkan bahwa peningkatan confidence level menyebabkan interval menjadi lebih lebar. Semua interval berpusat pada mean yang sama, tetapi tingkat ketelitian berbeda sesuai dengan tingkat keyakinan yang digunakan.

4. Interpretasi dalam konteks Business Analytics

   • Rata-rata transaksi harian pengguna setelah fitur baru adalah sekitar 12.6 transaksi

   • Dengan 95% confidence, rata-rata transaksi berada antara 11.97 sampai 13.23

   • Confidence level yang lebih tinggi memberikan keyakinan lebih besar, tetapi interval menjadi lebih lebar

Hasil ini dapat membantu manajemen:

• Mengevaluasi dampak fitur baru

• Membuat keputusan berbasis data dengan tingkat risiko yang terukur

2 .Case Study 2

Case Study 2 – Confidence Interval for Mean (σ Unknown)

Konteks:

Tim UX menganalisis waktu penyelesaian tugas (menit) pada aplikasi mobile baru.

Data dari 12 pengguna:

\(8.4,\; 7.9,\; 9.1,\; 8.7,\; 8.2,\; 9.0,\; 7.8,\; 8.5,\; 8.9,\; 8.1,\; 8.6,\; 8.3\)

1. Uji Statistik yang Tepat

Confidence Interval for Mean dengan σ tidak diketahui (t-interval)

Alasan:

• Standar deviasi populasi tidak diketahui

• Ukuran sampel kecil \((n = 12)\)

• Data diasumsikan berasal dari populasi berdistribusi normal

Gunakan Student’s t-distribution.

2. Perhitungan Dasar

A. Rata-rata sampel (x)

*\(\bar{x} = \frac{101.5}{12} = 8.46\)

B. Standar deviasi sampel (s)

*\(s \approx 0.43\)

C. Standard Error

*\(SE = \frac{s}{\sqrt{n}} = \frac{0.43}{\sqrt{12}} \approx 0.124\)

D. Derajat kebebasan

*\(df = n - 1 = 11\)

3. Comparison of confidence intervals

Perbandingan confidence interval pada tingkat 90%, 95%, dan 99% menunjukkan bahwa semua interval berpusat pada rata-rata sampel waktu penyelesaian tugas, yaitu sekitar 8,46 menit. Hal ini menandakan bahwa perubahan tingkat confidence tidak memengaruhi estimasi pusat, tetapi memengaruhi lebar interval.

Confidence interval 90% memiliki rentang paling sempit sehingga memberikan estimasi yang lebih presisi, namun dengan tingkat keyakinan yang lebih rendah. Sebaliknya, confidence interval 99% memiliki rentang paling lebar karena harus mencakup lebih banyak kemungkinan nilai rata-rata populasi, sehingga tingkat keyakinannya lebih tinggi.

Perbandingan ini menunjukkan adanya trade-off antara presisi dan tingkat keyakinan dalam estimasi statistik. Semakin tinggi confidence level yang digunakan, semakin besar keyakinan bahwa interval mencakup parameter populasi yang sebenarnya, namun dengan konsekuensi estimasi yang menjadi kurang presisi.

4. Interpretation in UX / Product Context

Berdasarkan confidence interval yang diperoleh, rata-rata waktu penyelesaian tugas pengguna pada aplikasi mobile baru diperkirakan berada di sekitar 8–9 menit. Dengan 95% confidence, tim UX dapat menyimpulkan bahwa waktu penyelesaian tugas pengguna berada dalam rentang yang relatif stabil dan konsisten.

Hasil ini dapat digunakan sebagai dasar evaluasi usability aplikasi, di mana waktu penyelesaian tugas yang tidak terlalu bervariasi menunjukkan bahwa antarmuka aplikasi cukup mudah dipahami oleh pengguna. Jika target waktu penyelesaian tugas berada dalam rentang tersebut, maka performa aplikasi dapat dianggap memenuhi ekspektasi.

Selain itu, confidence interval 99% dapat digunakan untuk pengambilan keputusan yang lebih konservatif, seperti perencanaan peningkatan fitur atau pengujian lanjutan, sementara confidence interval 90%–95% lebih sesuai untuk evaluasi operasional sehari-hari

3 .Case Study 3

Case Study 3 – Confidence Interval for a Proportion (A/B Testing)

Diketahui:

• Jumlah pengguna: \(n = 400\)

• Jumlah pengguna yang klik CTA: \(x = 156\)

1 . Menghitung Sample Proportion ( )

\(\hat{p} = \frac{x}{n} = \frac{156}{400} = 0.39\)

Proporsi pengguna yang mengklik CTA adalah 0,39 atau 39%

2 . Confidence Interval untuk Proporsi

Rumus Confidence Interval Proporsi

\(CI = \hat{p} \pm Z_{\alpha/2} \cdot \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\)

Standard Error

\(SE = \sqrt{\frac{0.39(1 - 0.39)}{400}}\) \(= \sqrt{\frac{0.2379}{400}}\) \(\approx 0.0244.\)

A. Confidence Interval 90%

Nilai \(Z = 1.645\)

\(CI = 0.39 \pm (1.645 \times 0.0244)\)

\(CI = 0.39 \pm 0.040\)

\(\boxed{(0.35,\; 0.43)}\)

⸻

B. Confidence Interval 95%

Nilai \(Z = 1.96\)

\(CI = 0.39 \pm (1.96 \times 0.0244)\)

\(CI = 0.39 \pm 0.048\)

\(\boxed{(0.34,\; 0.44)}\)

⸻

C. Confidence Interval 99%

Nilai \(Z = 2.576\)

\(CI = 0.39 \pm (2.576 \times 0.0244)\)

\(CI = 0.39 \pm 0.063\)

\(\boxed{(0.33,\; 0.45)}\)

3 . Visualisasi dan Perbandingan Confidence Interval

Perbandingan confidence interval menunjukkan bahwa ketiga interval berpusat pada proporsi yang sama, yaitu 0,39, namun memiliki lebar yang berbeda. Confidence interval 90% merupakan yang paling sempit, sedangkan 99% paling lebar.

Hal ini menunjukkan bahwa peningkatan confidence level menyebabkan interval menjadi lebih luas karena harus mencakup lebih banyak kemungkinan nilai proporsi populasi.

Visualisasi ini menegaskan adanya perbedaan tingkat ketelitian estimasi meskipun data yang digunakan sama.

4 . Pengaruh Confidence Level terhadap Pengambilan Keputusan Produk

Dalam konteks A/B testing produk, confidence level memengaruhi tingkat risiko keputusan yang diambil.

Confidence interval yang lebih tinggi (misalnya 99%) memberikan keyakinan yang lebih besar bahwa estimasi mencakup nilai sebenarnya, namun menghasilkan interval yang lebih lebar dan kurang presisi.

Sebaliknya, confidence interval yang lebih rendah (90%–95%) memberikan estimasi yang lebih sempit sehingga lebih praktis untuk pengambilan keputusan cepat, tetapi dengan risiko kesalahan yang lebih besar.

Oleh karena itu, tim produk biasanya menggunakan 95% confidence level sebagai keseimbangan antara ketelitian dan keandalan dalam menentukan apakah desain CTA baru layak diterapkan.

4 .Case Study 4

Case Study 4 – Precision Comparison (Z-Test vs t-Test)

Diketahui

Team A:

• \(n = 36\) (sample size)

• \(\bar{x} = 210\) (sample mean)

• \(\sigma = 24\) (population standard deviation diketahui)

Team B:

• \(n = 36\) (sample size)

• \(\bar{x} = 210\) (sample mean)

• \(s = 24\) (sample standard deviation)

1 . Identifikasi Uji Statistik

• Team A menggunakan Z-test / Z confidence interval

Alasan: standar deviasi populasi \((\sigma)\) diketahui dan ukuran sampel cukup besar.

• Team B menggunakan t-test / t confidence interval

Alasan: standar deviasi populasi tidak diketahui, sehingga digunakan standar deviasi sampel \((s)\).

2 . Menghitung Confidence Interval

Standard Error (keduanya sama)

\(SE = \frac{24}{\sqrt{36}} = 4\)

⸻

Team A (Z-Interval)

• \(90% (Z = 1.645)\)

\(CI = 210 \pm (1.645 \times 4) = (203.42,\; 216.58)\)

• \(95% (Z = 1.96)\)

\(CI = 210 \pm (1.96 \times 4) = (202.16,\; 217.84)\)

• \(99% (Z = 2.576)\)

\(CI = 210 \pm (2.576 \times 4) = (199.70,\; 220.30)\)

⸻

Team B (t-Interval, df = 35)

Nilai t:

• 90% → 1.690

• 95% → 2.030

• 99% → 2.724

• 90%

\(CI = 210 \pm (1.690 \times 4) = (203.24,\; 216.76)\)

• 95%

\(CI = 210 \pm (2.030 \times 4) = (201.88,\; 218.12)\)

• 99%

\(CI = 210 \pm (2.724 \times 4) = (199.10,\; 220.90)\)

3 . Visualisasi & Perbandingan Interval

Perbandingan confidence interval menunjukkan bahwa seluruh interval, baik dari Z-test (Team A) maupun t-test (Team B), memiliki titik tengah yang sama, yaitu rata-rata sampel sebesar 210 ms.

Namun, interval milik Team B (t-test) selalu sedikit lebih lebar dibandingkan interval Team A (Z-test) pada tingkat confidence yang sama.

Hal ini menunjukkan bahwa meskipun data yang digunakan hampir identik, metode statistik yang berbeda menghasilkan tingkat presisi estimasi yang berbeda.

4 . Mengapa Lebar Interval Berbeda Walaupun Data Mirip

Perbedaan lebar interval terjadi karena distribusi t memperhitungkan ketidakpastian tambahan akibat tidak diketahuinya standar deviasi populasi. Distribusi t memiliki ekor yang lebih tebal dibandingkan distribusi normal, sehingga nilai kritisnya lebih besar.

Akibatnya:

• Z-interval (Team A) → lebih sempit dan lebih presisi

• t-interval (Team B) → lebih lebar dan lebih konservatif

Perbedaan ini penting dalam analisis performa API, karena penggunaan t-test memberikan estimasi yang lebih aman ketika informasi populasi tidak lengkap.

5 .Case study 5

Case Study 5 – One-Sided Confidence Interval

Diketahui:

• \(n = 250 (total users)\)

• \(x = 185 (active premium users)\)

Sample proportion:

\(\hat{p} = \frac{185}{250} = 0.74\)

Manajemen hanya tertarik pada batas bawah (lower bound) karena ingin memastikan minimal 70% pengguna aktif menggunakan fitur premium.

1 . Jenis Confidence Interval & Uji Statistik

• Jenis CI: One-sided lower confidence interval for a proportion

• Uji statistik: Z confidence interval for proportion

Alasan:

•   Data berbentuk proporsi

•   Ukuran sampel besar

•   Fokus hanya pada batas bawah, bukan dua sisi

2 . One-Sided Lower Confidence Interval

Standard Error

\(SE = \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\) \(= \sqrt{\frac{0.74(0.26)}{250}}\) \(\approx 0.0277\)

Nilai Z (one-sided)

•   90% → 1.28

•   95% → 1.645

•   99% → 2.33

-> 90% Lower Bound

\(LB = 0.74 - (1.28 \times 0.0277)\) \(\approx 0.705\)

-> 95% Lower Bound

\(LB = 0.74 - (1.645 \times 0.0277)\) \(\approx 0.694\)

-> 99% Lower Bound

\(LB = 0.74 - (2.33 \times 0.0277)\) \(\approx 0.675\)

3 . Visualisasi (Penjelasan)

Visualisasi lower bounds menunjukkan bahwa:

•   Semakin tinggi confidence level, semakin rendah batas bawah

•   Interval menjadi lebih konservatif

•   Hal ini mencerminkan meningkatnya kehati-hatian dalam estimasi proporsi minimum pengguna premium

4 . Apakah Target 70% Tercapai?

Kesimpulan:

Berdasarkan hasil analisis one-sided confidence interval terhadap proporsi pengguna aktif premium, diperoleh estimasi proporsi sampel sebesar 74%, yang menunjukkan bahwa secara rata-rata mayoritas pengguna telah memanfaatkan fitur premium.

Namun, karena tujuan manajemen adalah memastikan minimal 70% pengguna aktif secara statistik, maka fokus utama analisis diarahkan pada batas bawah confidence interval, bukan pada nilai rata-rata semata.

Hasil perhitungan menunjukkan bahwa pada confidence level 90%, batas bawah confidence interval berada di atas 70%, sehingga target penggunaan premium dapat dianggap terpenuhi secara statistik dengan tingkat keyakinan tersebut.

Hal ini mengindikasikan bahwa jika manajemen bersedia menerima tingkat ketidakpastian sebesar 10%, maka proporsi pengguna premium kemungkinan besar sudah memenuhi standar yang ditetapkan.

Namun, pada confidence level 95% dan 99%, batas bawah confidence interval berada di bawah 70%, yang berarti secara statistik tidak terdapat cukup bukti kuat untuk menyatakan bahwa target penggunaan premium benar-benar tercapai pada tingkat keyakinan yang lebih tinggi. Kondisi ini mencerminkan sifat alami confidence interval, di mana semakin tinggi tingkat keyakinan yang diinginkan, semakin konservatif estimasi yang dihasilkan.

Dari sudut pandang bisnis, hasil ini menunjukkan adanya trade-off antara kecepatan pengambilan keputusan dan tingkat kepastian. Untuk keputusan operasional jangka pendek atau evaluasi awal performa fitur premium, confidence level 90% mungkin sudah memadai.

Namun, untuk keputusan strategis jangka panjang, seperti ekspansi fitur, penyesuaian harga, atau target pertumbuhan pengguna, manajemen disarankan untuk mengumpulkan data tambahan atau meningkatkan adopsi fitur premium agar target 70% dapat dipenuhi dengan tingkat keyakinan yang lebih tinggi.

Secara keseluruhan, analisis ini menegaskan bahwa meskipun indikator performa saat ini terlihat positif, pengambilan keputusan berbasis data tetap perlu mempertimbangkan tingkat risiko statistik yang dapat diterima oleh organisasi.

6 References

1. Montgomery, D. C., & Runger, G. C. (2014). Applied Statistics and Probability for Engineers (6th Edition). Wiley. (Membahas probabilitas, distribusi binomial, sampling distribution, dan inferensi statistik.)

   2. Walpole, R. E., Myers, R. H., Myers, S. L., & Ye, K. (2012). Probability and Statistics for Engineers and Scientists (9th Edition). Pearson. (Referensi klasik untuk teorema limit pusat, distribusi sampel, dan proporsi.)

   3. Devore, J. L. (2015). Probability and Statistics for Engineering and the Sciences (9th Edition). Cengage Learning. (Sangat kuat membahas sampling distribution dan distribusi binomial.)

   4. Hogg, R. V., Tanis, E. A., & Zimmerman, D. (2014). Probability and Statistical Inference (9th Edition). Pearson. (Sumber utama konsep-konsep probabilitas dasar hingga inferensi proporsi.)

   5. Moore, D. S., McCabe, G. P., & Craig, B. A. (2017). Introduction to the Practice of Statistics (9th Edition). W. H. Freeman. (Pembahasan lengkap dan aplikatif tentang sampling distribution of the sample proportion.)