Study Cases

Nailatul Wafiroh

Student Major in Data Science

Lecturer: Bakti Siregar, M.Sc., CDS

R Programming Data Science Statistics

1 Case Study 1

Confidence Interval for Mean, \(\sigma\) Known: An e-commerce platform wants to estimate the average number of daily transactions per user after launching a new feature. Based on large-scale historical data, the population standard deviation is known.

\[ \begin{eqnarray*} \sigma &=& 3.2 \quad \text{(population standard deviation)} \\ n &=& 100 \quad \text{(sample size)} \\ \bar{x} &=& 12.6 \quad \text{(sample mean)} \end{eqnarray*} \]

Tasks

Identify the appropriate statistical test and justify your choice.
Compute the Confidence Intervals for:
- \(90\%\)
- \(95\%\)
- \(99\%\)
Create a comparison visualization of the three confidence intervals.
Interpret the results in a business analytics context.

1.1 Pembahasan

1.1.1 Uji Statistik yang Tepat

Pilihan Tes: Interval Z untuk Rata-rata Populasi (σ diketahui)

Alasan:

Simpangan baku populasi yang diketahui (σ = 3,2): Ini adalah faktor kunci yang mengarahkan untuk menggunakan distribusi Z daripada distribusi t.
Ukuran sampel besar (n = 100): Dengan n ≥ 30, kita memenuhi persyaratan Teorema Batas Pusat, memastikan distribusi sampel rata-rata mendekati normal.
Tujuan: Memperkirakan parameter populasi (rata-rata transaksi harian), bukan menguji hipotesis, sehingga interval kepercayaan adalah hal yang tepat.

1.1.2 Perhitungan Interval Kepercayaan

Rumus untuk interval kepercayaan ketika \(\sigma\) diketahui::

\[ CI = \bar{x} \pm z \times \left(\frac{\sigma}{\sqrt{n}}\right) \] Diketahui:

\(\bar{x} = 12.6\)
\(\sigma = 3.2\)
\(n = 100\)

Standard Error (SE):

\[ SE = \frac{\sigma}{\sqrt{n}} = \frac{3.2}{\sqrt{100}} = 0.32 \]

Nilai Kritis dan Perhitungan:

a. Interval Kepercayaan 90%:

Langkah 1: Tentukan tingkat signifikansi

\[ \alpha = 1 - 0.90 = 0.10 \]

\[ \frac{\alpha}{2} = \frac{0.10}{2} = 0.05 \]

Langkah 2: Temukan nilai kritis Z

\[ Z(0.05) = -1.645 \]

Langkah 3: Hitung margin kesalahan (E)

\[ E = 1.645 \times \frac{3.2}{\sqrt{100}} \]

\[ E = 1.645 \times 0.32 = 0.5264 \]

Langkah 4: Menentukan batas interval kepercayaan

Batas Bawah:

\[ \bar{x} - E = 12.6 - 0.5264 = 12.07 \]

Batas Atas:

\[ \bar{x} + E = 12.6 + 0.5264 = 13.13 \]

Interpretasi:

Kita 90% yakin bahwa rata-rata sebenarnya dari populasi berada di antara 12.07 sampai 13.13.

Confidence Interval 90%: (12.07, 13.13)

b. Interval Kepercayaan 95%

Langkah 1: Tentukan tingkat signifikansi

\[ \alpha = 1 - 0.95 = 0.05 \]

\[ \frac{\alpha}{2} = \frac{0.05}{2} = 0.025 \]

Langkah 2: Temukan nilai kritis Z

\[ Z(0.025) = -1.96 \]

Langkah 3: Hitung margin kesalahan (E) \[ E = 1.96 \times \frac{3.2}{\sqrt{100}} \]

\[ E = 1.96 \times 0.32 = 0.6272 \]

Langkah 4: Menentukan batas interval kepercayaan

Batas Bawah:

\[ \bar{x} - E = 12.6 - 0.6272 = 11.97 \]

Batas Atas:

\[ \bar{x} + E = 12.6 + 0.6272 = 13.23 \]

Interpretasi:

Kita 95% yakin bahwa rata-rata sebenarnya dari populasi berada di antara 11.97 sampai 13.23.

Confidence Interval 95%: (11.97, 13.23)

c. Interval Kepercayaan 99%

Langkah 1: Tentukan tingkat signifikansi

\[ \alpha = 1 - 0.99 = 0.01 \]

\[ \frac{\alpha}{2} = \frac{0.01}{2} = 0.005 \]

Langkah 2: Temukan nilai kritis Z

\[ Z(0.005) = -2.576 \]

Langkah 3: Hitung margin kesalahan (E)

\[ E = 2.576 \times \frac{3.2}{\sqrt{100}} \]

\[ E = 2.576 \times 0.32 = 0.8243 \]

Langkah 4: Menentukan batas interval kepercayaan

Batas Bawah:

\[ \bar{x} - E = 12.6 - 0.8243 = 11.78 \]

Batas Atas :

\[ \bar{x} + E = 12.6 + 0.8243 = 13.42 \]

Interpretasi:

Kita 99% yakin bahwa rata-rata sebenarnya dari populasi berada di antara 11.78 sampai 13.42.

Confidence Interval 99%: (11.78, 13.42)

1.1.3 Visualisasi

1.1.4 Interpretasi Analisis Bisnis

Temuan Utama:

Pertukaran Kepercayaan-Ketepatan:

Grafik ini menunjukkan bahwa semakin tinggi tingkat kepercayaan, semakin lebar rentang ketidakpastian hasilnya.

CI 90% paling sempit → hasil lebih cepat dan tajam
CI 99% paling lebar → hasil paling hati-hati

Artinya, ada pilihan antara kecepatan keputusan dan tingkat kehati-hatian.

Business Decision Context:

a. Apakah fitur baru bekerja?

Semua interval (90%, 95%, dan 99%) menunjukkan bahwa rata-rata transaksi harian per pengguna berada di sekitar 12–13 transaksi. Ini menandakan bahwa fitur baru setidaknya mempertahankan performa, dan kemungkinan meningkatkan keterlibatan pengguna.

Bahkan pada skenario paling konservatif (CI 99%), batas bawah masih mendekati 12 transaksi, sehingga hasilnya cukup meyakinkan.

b. Confidence level mana yang sebaiknya dipakai?

95% → Pilihan terbaik untuk keputusan bisnis sehari-hari Seimbang antara keyakinan dan ketepatan, dan merupakan standar industri.
90% → Cocok untuk eksperimen cepat atau keputusan berisiko rendah.
99% → Digunakan jika keputusan sangat kritis, misalnya investasi besar atau perubahan strategi utama.

c. Seberapa andal hasil ini?

Interval kepercayaan relatif sempit (kurang dari ±1 transaksi).

Ini menunjukkan bahwa:

Jumlah data cukup besar (n = 100)
Pola perilaku pengguna konsisten
Hasil estimasi cukup stabil dan dapat dipercaya

d.Wawasan yang Bisa Langsung Digunakan

Jika performa sebelum fitur di bawah 11,78 transaksi/hari, maka dengan keyakinan 99% fitur ini meningkatkan kinerja.
Jika target bisnis minimal 12 transaksi/hari, maka semua tingkat kepercayaan mendukung bahwa target tercapai.
Kesalahan standar yang kecil (0,32) menunjukkan variasi pengguna rendah, sehingga keputusan berbasis data ini aman untuk diambil.

Note: Data ini memberi sinyal positif: fitur baru bekerja dengan baik, dan manajemen dapat mengambil keputusan dengan percaya diri, terutama jika menggunakan confidence level 95%.

2 Case Study 2

Confidence Interval for Mean, \(\sigma\) Unknown: A UX Research team analyzes task completion time (in minutes) for a new mobile application. The data are collected from 12 users:

\[ 8.4,\; 7.9,\; 9.1,\; 8.7,\; 8.2,\; 9.0,\; 7.8,\; 8.5,\; 8.9,\; 8.1,\; 8.6,\; 8.3 \]

Tasks:

Identify the appropriate statistical test and explain why.
Compute the Confidence Intervals for:
- \(90\%\)
- \(95\%\)
- \(99\%\)
Visualize the three intervals on a single plot.
Explain how sample size and confidence level influence the interval width.

2.1 Pembahasan

2.1.1 Uji Statistik yang Tepat

Pilihan Uji: t-Interval untuk Rata-rata Populasi (σ tidak diketahui)

Alasan:

Simpangan baku populasi tidak diketahui (σ tidak diketahui): Karena σ populasi tidak tersedia dan harus diperkirakan menggunakan standar deviasi sampel (s), maka distribusi t digunakan, bukan distribusi Z.
Ukuran sampel kecil (n = 12): Dengan n < 30, distribusi t lebih sesuai karena memperhitungkan ketidakpastian tambahan dari estimasi σ dan menghasilkan interval yang lebih konservatif.
Asumsi distribusi mendekati normal: Untuk sampel kecil, diasumsikan populasi mendekati distribusi normal. Data waktu penyelesaian tugas UX berupa angka (kontinu) dan umumnya tidak terlalu condong ke satu sisi, sehingga metode t masih dapat digunakan dengan baik meskipun ukuran sampel kecil.
Tujuan estimasi: Fokus analisis adalah mengestimasi parameter populasi (rata-rata waktu penyelesaian tugas), sehingga penggunaan confidence interval tepat.

2.1.2 Perhitungan Interval Kepercayaan

Karena standar deviasi populasi tidak diketahui dan ukuran sampel kecil, digunakan t-distribution dengan rumus:

\[ CI = \bar{x} \pm t_{\alpha/2,\;df} \times \frac{s}{\sqrt{n}} \]

Dari data diperoleh:

a. Sample mean

\[ \bar{x} = \frac{ 8.4 + 7.9 + 9.1 + 8.7 + 8.2 + 9.0 + 7.8 + 8.5 + 8.9 + 8.1 + 8.6 + 8.3 }{12} \]

\[ = \frac{101}{12} \]

\[ \bar{x} = 8.458 menit \]

b. Sample size \[n=12\]

c. Standar Deviasi Sampel (s)

Rumus:

\[ s = \sqrt{\frac{\sum (x_i - \bar{x})^2}{n - 1}} \]

x	x…x.	X.x…x…
8.4	-0.0583	0.0034
7.9	-0.5583	0.3117
9.1	0.6417	0.4117
8.7	0.2417	0.0584
8.2	-0.2583	0.0667
9.0	0.5417	0.2934
7.8	-0.6583	0.4334
8.5	0.0417	0.0017
8.9	0.4417	0.1951
8.1	-0.3583	0.1284
8.6	0.1417	0.0201
8.3	-0.1583	0.0251

Jumlah Kuadrat Selisih

\[ \sum (x_i - \bar{x})^2 = 1.9492 \]

Varians Sampel

\[ s^2 = \frac{1.9492}{n - 1} \]

Dengan \(n = 12\):

\[ s^2 = \frac{1.9492}{12 - 1} = \frac{1.9492}{11} = 0.1772 \]

d. Standar Deviasi Sampel

\[ s = \sqrt{0.1772} = 0.421 \text{ menit} \]

e. Standar Error

Rumus Standard Error:

\[ SE = \frac{s}{\sqrt{n}} \]

Substitusi nilai:

\[ SE = \frac{0.421}{\sqrt{12}} \]

\[ SE = \frac{0.421}{3.464} \]

Hasil:

\[ SE = 0.122 \text{ menit} \] f. Derajat Kebebasan (df)

Rumus:

\[df = n - 1\]

\[df = 12 - 1 = 11\]

Nilai Kritis dan Perhitungan:

Diketahui:

\(n = 12\) \(\bar{x} = 8.458\) menit
\(s = 0.421\) menit
\(SE = \frac{s}{\sqrt{n}} = 0.122\) menit
\(df = n - 1 = 11\)

a. Interval Kepercayaan 90%:

Langkah 1: Tentukan tingkat signifikansi

\[ \alpha = 1 - 0.90 = 0.10 \]

\[ \frac{\alpha}{2} = \frac{0.10}{2} = 0.05 \]

Langkah 2: Tentukan nilai t-kritis

Dari tabel distribusi-t dengan:

df = 11

area ekor kanan = 0.05

\[ t_{0.05,\,11} = 1.796 \]

Langkah 3: Hitung Margin of Error (ME)

\[ ME = t \times SE \]

\[ ME = 1.796 \times 0.122 \]

\[ ME = 0.218 \text{ menit} \]

Langkah 4: Hitung Interval Kepercayaan

\[ IK = \bar{x} \pm ME \]

Batas bawah:

\[ 8.458 - 0.218 = 8.240 \]

Batas atas:

\[ 8.458 + 0.218 = 8.676 \]

Interpretasi:

Kita 90% yakin bahwa rata-rata waktu penyelesaian tugas sebenarnya untuk seluruh pengguna aplikasi berada di antara 8.24 sampai 8.68 menit.

Confidence Interval 90%: (8.24; 8.68)

b. Interval Kepercayaan 95%:

Langkah 1: Tentukan tingkat signifikansi

\[ \alpha = 1 - 0.95 = 0.05 \]

\[ \frac{\alpha}{2} = 0.025 \]

Langkah 2: Tentukan nilai t-kritis \[ t_{0.025,\,11} = 2.201 \]

Langkah 3: Hitung Margin of Error \[ ME = 2.201 \times 0.122 \]

\[ ME = 0.267 \text{ menit} \]

Langkah 4: Hitung Interval Kepercayaan

Batas bawah:

\[ 8.458 - 0.267 = 8.191 \]

Batas atas:

\[ 8.458 + 0.267 = 8.725 \]

Interpretasi:

Kita 95% yakin bahwa rata-rata waktu penyelesaian tugas sebenarnya untuk seluruh pengguna aplikasi berada di antara 8.19 sampai 8.73 menit.

Interval ini paling sering digunakan karena memberikan keseimbangan yang baik antara tingkat keyakinan dan lebar interval.

Confidence Interval 95%: (8.19; 8.73)

c. Interval Kepercayaan 99%:

Langkah 1: Tentukan tingkat signifikansi \[ \alpha = 1 - 0.99 = 0.01 \]

\[ \frac{\alpha}{2} = 0.005 \]

Langkah 2: Tentukan nilai t-kritis \[ t_{0.005,\,11} = 3.106 \] Langkah 3: Hitung Margin of Error \[ ME = 3.106 \times 0.122 \]

\[ ME = 0.377 \text{ menit} \]

Langkah 4: Hitung Interval Kepercayaan

Batas bawah:

\[ 8.458 - 0.377 = 8.081 \]

Batas atas:

\[ 8.458 + 0.377 = 8.835 \]

Interpretasi:

Kita 99% yakin bahwa rata-rata waktu penyelesaian tugas sebenarnya untuk seluruh pengguna aplikasi berada di antara 8.08 sampai 8.84 menit.

Confidence Interval 99%: (8.08; 8.84)

Catatan Penting:

• Interval kepercayaan memberikan RANGE nilai, bukan nilai pasti

• Semakin tinggi tingkat kepercayaan, semakin LEBAR intervalnya

• 95% adalah standar yang paling umum digunakan dalam penelitian

• Visualisasi tersedia dalam file terpisah

2.1.3 Visualisasi

Interpretasi:

Grafik menunjukkan bahwa semakin tinggi tingkat kepercayaan, semakin lebar interval kepercayaan. Rata-rata waktu penyelesaian tugas berada di sekitar 8–9 menit dan konsisten di semua interval. Hal ini berarti estimasi cukup andal, dan CI 95% sudah memadai untuk pengambilan keputusan bisnis sehari-hari.

2.1.4 Pengaruh Tingkat Kepercayaan dan Ukuran Sampel terhadap Lebar Confidence Interval

Confidence interval dipengaruhi oleh dua faktor utama, yaitu tingkat kepercayaan dan ukuran sampel. Kedua faktor ini menentukan seberapa yakin dan seberapa presisi estimasi rata-rata populasi yang dihasilkan.

1. Tingkat Kepercayaan (Confidence Level)

Semakin tinggi tingkat kepercayaan → nilai t-kritis lebih besar → margin of error lebih besar → interval lebih lebar
Trade-off: tinggi keyakinan → kurang presisi, rendah keyakinan → lebih presisi

2. Ukuran Sampel (n)

Semakin besar sampel → standard error turun → margin of error mengecil → interval lebih sempit
Dampak bertambahnya sampel semakin kecil setelah n > 30–50 (diminishing returns)

3. Interaksi

Lebar CI dapat dihitung dengan rumus:

\[ \text{Lebar CI} = 2 \times t_{\alpha/2, df} \times \frac{s}{\sqrt{n}} \]

Keterangan:

\(t_{\alpha/2, df}\) = nilai t kritis sesuai tingkat kepercayaan dan derajat bebas

\(s\) = standar deviasi sampel

\(n\) = ukuran sampel

Tingkat kepercayaan → memengaruhi t
Ukuran sampel → memengaruhi √n
Strategi optimal: tambah sampel + pilih confidence level sesuai kebutuhan

Inti:

Confidence level menentukan keyakinan, ukuran sampel menentukan presisi. Keseimbangan keduanya membuat CI akurat dan bisa diandalkan.

3 Study Case 3

Confidence Interval for a Proportion, A/B Testing: A data science team runs an A/B test on a new Call-To-Action (CTA) button design. The experiment yields:

\[ \begin{eqnarray*} n &=& 400 \quad \text{(total users)} \\ x &=& 156 \quad \text{(users who clicked the CTA)} \end{eqnarray*} \]

Tasks:

Compute the sample proportion \(\hat{p}\).
Compute Confidence Intervals for the proportion at:
- \(90\%\)
- \(95\%\)
- \(99\%\)
Visualize and compare the three intervals.
Explain how confidence level affects decision-making in product experiments.

3.1 Pembahasan

3.1.1 sample proportion \(\hat{p}\)

Data eksperimen:

Total users: \(n = 400\)
Users yang klik CTA: \(x = 156\)

Perhitungan proporsi sampel:

\[ \hat{p} = \frac{x}{n} = \frac{156}{400} = 0.39 \text{ atau } 39\% \]

Artinya: sekitar 39% pengguna mengklik tombol CTA baru.

3.1.2 Perhitungan Interval Kepercayaan

Confidence Interval untuk proporsi dihitung dengan rumus:

\[ CI = \hat{p} \pm z^* \times SE \]

Dimana:

\(\hat{p} = \frac{x}{n}\) → sample proportion
\(SE = \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\) → standard error
\(z^*\) → nilai kritis Z sesuai tingkat confidence level (misal 90%, 95%, 99%)

a. 90% Confidence Interval

Langkah 1: Hitung Standard Error (SE)

Rumus:

\[ SE = \sqrt{\frac{\hat{p}(1-\hat{p})}{n}} \]

Substitusi nilai:

\[ SE = \sqrt{\frac{0.39 \times 0.61}{400}} = \sqrt{\frac{0.2379}{400}} = \sqrt{0.00059475} \approx 0.0244 \]

Langkah 2: Tentukan Nilai Z untuk 90% Confidence

\[ \alpha = 1 - 0.90 = 0.10 \quad \Rightarrow \quad \alpha/2 = 0.05 \]

\[ z^* = 1.645 \quad \text{(dari tabel Z)} \]

Langkah 3: Hitung Margin of Error (ME)

Rumus:

\[ ME = z^* \times SE \]

Perhitungan:

\[ ME = 1.645 \times 0.0244 \approx 0.0401 = 4.01\% \]

Langkah 4: Hitung Lower dan Upper Bound

Lower Bound:

\[ \text{Lower} = \hat{p} - ME = 0.39 - 0.0401 = 0.3499 \approx 34.99\% \]

Upper Bound:

\[ \text{Upper} = \hat{p} + ME = 0.39 + 0.0401 = 0.4301 \approx 43.01\% \]

90% Confidence Interval \[ CI_{90\%} = (0.3499, 0.4301) \quad \text{atau} \quad (34.99\%, 43.01\%) \]

Interpretasi:

Kita 90% yakin bahwa proporsi sebenarnya dari CTR (Click-Through Rate) berada di antara 34.99% – 43.01%.

b. 95% Confidence Interval

Langkah 1: Hitung Standard Error (SE)

Rumus:

\[ SE = \sqrt{\frac{\hat{p}(1-\hat{p})}{n}} \]

Substitusi nilai:

\[ SE = \sqrt{\frac{0.39 \times 0.61}{400}} = \sqrt{\frac{0.2379}{400}} = \sqrt{0.00059475} \approx 0.0244 \]

(SE sama dengan sebelumnya karena data sama)

Langkah 2: Tentukan Nilai Z untuk 95% Confidence

\[ \alpha = 1 - 0.95 = 0.05 \quad \Rightarrow \quad \alpha/2 = 0.025 \]

\[ z^* = 1.96 \quad \text{(dari tabel Z)} \]

Langkah 3: Hitung Margin of Error (ME)

Rumus:

\[ ME = z^* \times SE \]

Perhitungan:

\[ ME = 1.96 \times 0.0244 \approx 0.0478 = 4.78\% \]

Langkah 4: Hitung Lower dan Upper Bound

Lower Bound:

\[ \text{Lower} = \hat{p} - ME = 0.39 - 0.0478 = 0.3422 \approx 34.22\% \]

Upper Bound:

\[ \text{Upper} = \hat{p} + ME = 0.39 + 0.0478 = 0.4378 \approx 43.78\% \]

95% Confidence Interval

\[ CI_{95\%} = (0.3422, 0.4378) \quad \text{atau} \quad (34.22\%, 43.78\%) \]

Interpretasi:

Kita 95% yakin bahwa proporsi sebenarnya dari CTR (Click-Through Rate) berada di antara 34.22% – 43.78%.

c. 99% Confidence Interval

Langkah 1: Hitung Standard Error (SE)

Rumus:

\[ SE = \sqrt{\frac{\hat{p}(1-\hat{p})}{n}} \]

Substitusi nilai:

\[ SE = \sqrt{\frac{0.39 \times 0.61}{400}} = \sqrt{\frac{0.2379}{400}} = \sqrt{0.00059475} \approx 0.0244 \]

(SE sama dengan sebelumnya karena data sama)

Langkah 2: Tentukan Nilai Z untuk 99% Confidence

\[ \alpha = 1 - 0.99 = 0.01 \quad \Rightarrow \quad \alpha/2 = 0.005 \]

\[ z^* = 2.576 \quad \text{(dari tabel Z)} \]

Langkah 3: Hitung Margin of Error (ME)

Rumus:

\[ ME = z^* \times SE \]

Perhitungan:

\[ ME = 2.576 \times 0.0244 \approx 0.0629 = 6.29\% \]

Langkah 4: Hitung Lower dan Upper Bound

Lower Bound:

\[ \text{Lower} = \hat{p} - ME = 0.39 - 0.0629 = 0.3271 \approx 32.71\% \]

Upper Bound:

\[ \text{Upper} = \hat{p} + ME = 0.39 + 0.0629 = 0.4529 \approx 45.29\% \]

99% Confidence Interval

\[ CI_{99\%} = (0.3271, 0.4529) \quad \text{atau} \quad (32.71\%, 45.29\%) \]

Interpretasi:

Kita 99% yakin bahwa proporsi sebenarnya dari CTR (Click-Through Rate) berada di antara 32.71% – 45.29%.

Kesimpulan: Semakin tinggi confidence level:

Nilai z makin besar* (1.645 → 1.96 → 2.576)
Margin of Error makin besar (4.01% → 4.78% → 6.29%)
Interval makin lebar (8.02% → 9.56% → 12.58%)
Kita makin yakin true value ada di dalam interval (90% → 95% → 99%).

3.1.3 Visualisasi

Interpretasi (konteks A/B testing):

Grafik menunjukkan estimasi Click-Through Rate (CTR) sekitar 39%. Semakin tinggi tingkat kepercayaan (90% → 99%), interval makin lebar, artinya kita lebih hati-hati terhadap ketidakpastian. Untuk keputusan bisnis rutin, CI 95% sudah cukup karena seimbang antara keyakinan dan ketepatan, dan hasilnya tetap mendukung bahwa CTR berada di kisaran ±40%.

3.1.4 Pengaruh Tingkat Kepercayaan pada Keputusan Produk

Dalam eksperimen produk, memilih tingkat kepercayaan (90%, 95%, atau 99%) adalah cara kita mengatur Alarm Kehati-hatian

Tingkat Kepercayaan Tinggi (99%): Sangat Hati-hati Gunakan ini jika biaya kegagalan sangat mahal. Misalnya, jika desain CTA baru ternyata membingungkan pengguna dan bisa menurunkan pendapatan drastis. Kita butuh bukti yang sangat kuat sebelum berani memutuskan pindah ke desain baru.
Tingkat Kepercayaan Rendah (90%): Ingin Cepat Inovasi Gunakan ini jika risikonya kecil. Kita tidak butuh waktu lama untuk mengumpulkan data. Kita lebih memilih untuk segera merilis fitur baru daripada menunggu terlalu lama demi kepastian absolut.
Membaca Rentang (Interval): Jika rentang interval kepercayaan masih mencakup angka “nol” atau tidak menunjukkan peningkatan yang jelas (misalnya rentangnya terlalu lebar), itu tandanya eksperimen belum meyakinkan. Semakin tinggi tingkat kepercayaan yang minta, semakin lebar rentang tersebut, dan semakin sulit bagi sebuah fitur untuk dinyatakan “menang”.

Analogi Sederhana: Memasang Taruhan

Bayangkan ketika kita sedang memutuskan apakah akan mengganti tombol CTA yang lama dengan yang baru:

1. Jika Menggunakan Tingkat Kepercayaan Rendah (90%)

Filosofinya: “Saya cukup yakin ini berhasil, ayo cepat rilis!”
Risiko: Kita punya peluang 10% untuk salah. Anda mungkin mengira tombol baru lebih bagus, padahal sebenarnya hanya karena faktor kebetulan saat tes.
Kapan dipakai? Untuk perubahan kecil yang risikonya rendah, seperti mengubah warna tulisan atau tata letak artikel.

2. Jika Menggunakan Tingkat Kepercayaan Standar (95%)

Filosofinya: “Saya sangat yakin ini berhasil.”
Risiko: Peluang salah hanya 5%. Ini adalah standar industri yang paling sering digunakan karena menyeimbangkan antara kecepatan eksperimen dan keakuratan data.

3. Jika Menggunakan Tingkat Kepercayaan Tinggi (99%)

Filosofinya: “Saya harus benar-benar yakin 100% (hampir) sebelum mengubah apa pun.”
Risiko: Peluang salah hanya 1%. Namun, konsekuensinya adalah rentang datanya menjadi sangat lebar (Interval Melebar). Anda butuh data yang sangat kuat agar hasilnya terlihat meyakinkan.
Kapan dipakai? Untuk perubahan yang sangat berisiko, seperti mengubah sistem pembayaran atau fitur utama yang jika salah bisa merugikan perusahaan miliaran rupiah.

Kesimpulan untuk Pengambilan Keputusan:

Semakin tinggi tingkat kepercayaan (99%), semakin sulit bagi sebuah fitur baru untuk “lolos” uji coba. Kita menjadi sangat hati-hati (konservatif).
Semakin rendah tingkat kepercayaan (90%), kita menjadi lebih agresif dalam berinovasi, tapi risiko melakukan kesalahan (menganggap ada peningkatan padahal tidak ada) juga semakin besar.

Singkatnya: Memilih tingkat kepercayaan adalah memilih antara Kecepatan Inovasi (90%) vs Keamanan Sistem (99%).

4 Case Study 4

Precision Comparison (Z-Test vs t-Test): Two data teams measure API latency (in milliseconds) under different conditions.

\[\begin{eqnarray*} \text{Team A:} \\ n &=& 36 \quad \text{(sample size)} \\ \bar{x} &=& 210 \quad \text{(sample mean)} \\ \sigma &=& 24 \quad \text{(known population standard deviation)} \\[6pt] \text{Team B:} \\ n &=& 36 \quad \text{(sample size)} \\ \bar{x} &=& 210 \quad \text{(sample mean)} \\ s &=& 24 \quad \text{(sample standard deviation)} \end{eqnarray*}\]

Tasks

Identify the statistical test used by each team.
Compute Confidence Intervals for 90%, 95%, and 99%.
Create a visualization comparing all intervals.
Explain why the interval widths differ, even with similar data.

4.1 Pembahasan

4.1.1 Uji Statistik yang Tepat

Team A: Menggunakan Z-Test (Z-Distribution)

Populasi standard deviation σ diketahui = 24
Ketika σ diketahui, kita pakai distribusi normal (Z)

Rumus:

\[ CI = \bar{x} \pm z^* \frac{\sigma}{\sqrt{n}} \]

Team B: Menggunakan t-Test (t-Distribution)

Menggunakan s (sample standard deviation) = 24
Populasi standard deviation (σ) tidak diketahui
Ketika σ tidak diketahui, kita pakai distribusi t

Rumus:

\[ CI = \bar{x} \pm t^* \frac{s}{\sqrt{n}} \]

4.1.2 Perhitungan Interval Kepercayaan

1. Tim A (Z-Test)

a. 90% Confidence Interval

\[ \begin{aligned} ME &= 1.645 \times \frac{24}{\sqrt{36}} = 1.645 \times 4 = 6.58 \\ CI &= 210 \pm 6.58 = (203.42, 216.58) \end{aligned} \]

b. 95% Confidence Interval

\[ \begin{aligned} ME &= 1.96 \times 4 = 7.84 \\ CI &= 210 \pm 7.84 = (202.16, 217.84) \end{aligned} \]

c. 99% Confidence Interval

\[ \begin{aligned} ME &= 2.576 \times 4 = 10.30 \\ CI &= 210 \pm 10.30 = (199.70, 220.30) \end{aligned} \]

Confidence Level	z*	Margin of Error	Lower Bound	Upper Bound	Width
90%	1.645	6.58	203.42	216.58	13.16
95%	1.960	7.84	202.16	217.84	15.68
99%	2.576	10.30	199.70	220.30	20.61

2. Tim B (t-Test)

Karena hanya tersedia standar deviasi sampel (\(s\)), maka digunakan distribusi \(t\).

Derajat bebas: \[ df = n - 1 = 36 - 1 = \mathbf{35} \]

a. 90% Confidence Interval

\[ t^* = t_{0.95,35} = 1{,}690 \]

\[ ME = 1{,}690 \times 4 = 6{,}76 \]

\[ CI = 210 \pm 6{,}76 = (203{,}24,\;216{,}76) \]

b. 95% Confidence Interval

\[ t^* = t_{0.975,35} = 2{,}030 \]

\[ ME = 2{,}030 \times 4 = 8{,}12 \]

\[ CI = 210 \pm 8{,}12 = (201{,}88,\;218{,}12) \]

c. 99% Confidence Interval

\[ t^* = t_{0.995,35} = 2{,}724 \]

\[ ME = 2{,}724 \times 4 = 10{,}90 \]

\[ CI = 210 \pm 10{,}90 = (199{,}10,\;220{,}90) \]

Confidence Level	t*	Margin of Error	Lower Bound	Upper Bound	Width
90%	1.690	6.76	203.24	216.76	13.52
95%	2.030	8.12	201.88	218.12	16.24
99%	2.724	10.90	199.10	220.90	21.79

Kesimpulan:

Tim A (Z-Test) → interval lebih sempit, lebih presisi

Tim B (t-Test) → interval lebih lebar, mengantisipasi ketidakpastian

4.1.3 Visualisasi

Menampilkan 6 confidence intervals dalam 1 grafik.

Menunjukkan kenapa t* lebih besar dari z* (karena fat tails).

Tujuan: Menunjukkan bahwa perbedaan mengecil seiring n bertambah.

4.1.4 Mengapa Lebar Interval Berbeda?

Meskipun kedua tim memiliki rata-rata (\(210\) ms) dan jumlah sampel (\(36\)) yang sama, interval Tim B selalu lebih lebar daripada Tim A. Hal ini terjadi karena dua alasan utama:

1. Perbedaan “Keyakinan” Sumber Data

Tim A (Z-Test): Menggunakan standar deviasi Populasi. Dalam statistik, jika kita sudah tahu gambaran besar (populasi), kita bisa lebih percaya diri dalam menentukan rentang. Hasilnya adalah interval yang lebih sempit dan lebih presisi.
Tim B (t-Test): Hanya menggunakan standar deviasi Sampel. Karena Tim B “menebak” kondisi populasi hanya berdasarkan 15 data, statistik memberikan “ruang ekstra” untuk berjaga-jaga jika sampel tersebut tidak akurat. Hasilnya adalah interval yang lebih lebar dan kurang presisi.

2. Perbedaan Nilai Pengali (Z vs t)

Setiap interval dihitung dengan mengalikan Standard Error dengan sebuah angka (Nilai Kritis).

Nilai pengali \(t\) (Tim B) selalu lebih besar daripada nilai \(Z\) (Tim A).
Contoh pada tingkat kepercayaan 95%: Nilai \(Z\) hanya \(1,96\), sedangkan nilai \(t\) (untuk 36 sampel) adalah \(2,030\).
Karena pengalinya lebih besar, maka hasil akhirnya (Margin of Error) pasti lebih besar, yang membuat rentang angka Tim B lebih luas.

3. Dampak pada Pengambilan Keputusan

Tim A memberikan estimasi yang lebih tajam. Jika batas atas mereka (\(217,84\) ms) masih di bawah batas toleransi perusahaan, mereka bisa lebih cepat mengambil keputusan.
Tim B memberikan estimasi yang lebih “aman” tapi samar. Rentang mereka yang lebar (\(201,88\) - \(218,12\) ms) menunjukkan adanya ketidakpastian yang lebih tinggi. Jika ingin presisinya menyamai Tim A, Tim B harus menambah jumlah sampel mereka.

Kesimpulan Singkat:

Interval Tim B lebih lebar karena mereka memiliki informasi yang lebih sedikit (hanya data sampel kecil), sehingga statistik “mengharuskan” mereka untuk lebih berhati-hati dengan memberikan rentang kemungkinan yang lebih luas.

5 Case Study 5

One-Sided Confidence Interval: A Software as a Service (SaaS) company wants to ensure that at least 70% of weekly active users utilize a premium feature.

From the experiment:

\[ \begin{eqnarray*} n &=& 250 \quad \text{(total users)} \\ x &=& 185 \quad \text{(active premium users)} \end{eqnarray*} \]

Management is only interested in the lower bound of the estimate.

Tasks:

Identify the type of Confidence Interval and the appropriate test.
Compute the one-sided lower Confidence Interval at:
- \(90\%\)
- \(95\%\)
- \(99\%\)
Visualize the lower bounds for all confidence levels.
Determine whether the 70% target is statistically satisfied.

5.1 Pembahasann

5.1.1 Identifikasi Jenis Selang Kepercayaan dan Uji yang Sesuai

Jenis: One-Sided Lower Bound Confidence Interval

Tes: One-Sample Proportion Z-Test, karena ukuran sampel (\(n = 250\)) cukup besar untuk menggunakan pendekatan distribusi normal.

Alasan: Manajemen hanya peduli batas bawah (setidaknya 70%), bukan rentang penuh

Diketahui:

Jumlah sampel (\(n\)) = \(250\)

Jumlah sukses/aktif (\(x\)) = \(185\)

Proporsi sampel (\(\hat{p}\)) = \(\frac{x}{n} = \frac{185}{250} = 0,74\)

Tingkat Kepercayaan (\(CL\)) = \(90\%\), \(95\%\), dan \(99\%\)

5.1.2 Perhitungan Interval Kepercayaan

a. 90% Confidence Interval (One-Sided Lower)

Langkah 1: Hitung Standard Error(SE)

\[SE = \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\]\[SE = \sqrt{\frac{0,74 \times 0,26}{250}} = \sqrt{\frac{0,1924}{250}} \approx 0,0277\] Langkah 2: Tentukan Nilai Z untuk 90% (One-Sided)Karena manajemen hanya ingin batas bawah, maka seluruh \(\alpha\) (10%) berada di satu sisi.

\[\alpha = 1 - 0,90 = 0,10\]\[z^* = 1,282\]

Langkah 3: Hitung Margin of Error (ME)

\[ME = z^* \times SE\]\[ME = 1,282 \times 0,0277 \approx 0,0355\]

Langkah 4: Hitung Lower Bound (Batas Bawah)

\[ Lower = \hat{p} - ME = 0,74 - 0,0355 = 0,7045 \text{ (atau 70,45%)} \]

b. 95% Confidence Interval (One-Sided Lower)

Langkah 1: Hitung Standard Error (SE) (Sama dengan perhitungan sebelumnya)\[SE \approx 0,0277\]

Langkah 2: Tentukan Nilai Z untuk 95% (One-Sided)

\[\alpha = 1 - 0,95 = 0,05\]\[z^* = 1,645\]

Langkah 3: Hitung Margin of Error (ME)

\[ME = 1,645 \times 0,0277 \approx 0,0456\]

Langkah 4: Hitung Lower Bound (Batas Bawah)

\[ Lower = \hat{p} - ME = 0.74 - 0.0456 = 0.6944 \text{ (atau 69,44%)} \]

c. 99% Confidence Interval (One-Sided Lower)

Langkah 1: Hitung Standard Error (SE) (Sama dengan perhitungan sebelumnya)

\[SE \approx 0,0277\]

Langkah 2: Tentukan Nilai Z untuk 99% (One-Sided)

\[\alpha = 1 - 0,99 = 0,01\]\[z^* = 2,326\]

Langkah 3: Hitung Margin of Error (ME)

\[ME = 2,326 \times 0,0277 \approx 0,0644\]

Langkah 4: Hitung Lower Bound (Batas Bawah)

\[ Lower = \hat{p} - ME = 0,74 - 0,0644 = 0,6756 \text{ (atau 67,56%)} \]

Confidence Level	Batas Bawah	Status Terhadap Target 70%
90%	70,45%	Terpenuhi (Batas bawah > 70%)
95%	69,44%	Tidak Terpenuhi (Batas bawah < 70%)
99%	67,56%	Tidak Terpenuhi (Batas bawah < 70%)

5.1.3 Visualisasi

Interpretasi:

Grafik menunjukkan bahwa batas bawah estimasi proporsi pengguna premium menurun saat tingkat kepercayaan meningkat. Pada 90%, batas bawah masih di atas target 70%, sehingga target dianggap terpenuhi. Namun pada 95% dan 99%, batas bawah jatuh di bawah 70%, sehingga target belum bisa dipastikan tercapai pada tingkat keyakinan yang lebih tinggi.

Tingkat Kepercayaan	Batas Bawah (Lower Bound)	Status Terhadap Target 70%	Kesimpulan Statistik
90%	70,45%	Di atas Target	Kita yakin 90% bahwa proporsi sebenarnya setidaknya 70,45%. Jadi, target tercapai.
95%	69,44%	Di bawah Target	Karena ada kemungkinan proporsi turun hingga 69,44%, kita tidak bisa 95% yakin target sudah terpenuhi.
99%	67,56%	Di bawah Target	Pada tingkat kepastian yang sangat tinggi, risiko meleset dari target 70% masih terlalu besar.

5.1.4 Analisis & Kesimpulan Akhir

1. Secara Deskriptif: Proporsi sampel kita adalah 74%, yang secara nominal sudah melampaui target 70%.

2. Secara Statistik: Jika perusahaan menggunakan standar 90% Confidence Level, maka proyek ini dinyatakan berhasil mencapai target

Namun, jika perusahaan menggunakan standar industri yang lebih umum yaitu 95% Confidence Level, maka proyek ini belum bisa dinyatakan mencapai target secara signifikan. Ada margin kesalahan yang bisa membuat proporsi asli pengguna premium berada di angka 69,44% (kurang dari 70%).

Rekomendasi untuk Manajemen

Mengingat hasil pada tingkat 95% sangat tipis di bawah target (69,44% vs 70%), perusahaan disarankan untuk:

Menambah ukuran sampel (\(n\)): Dengan menambah jumlah pengguna yang diobservasi, Standard Error akan mengecil dan batas bawah kemungkinan besar akan naik di atas 70%.
Melanjutkan pemantauan: Jika tren 74% ini stabil, seiring berjalannya waktu, bukti statistik akan menjadi cukup kuat untuk memenuhi tingkat kepercayaan 95%.

Catatan: Selisih antara \(69,44\%\) (Batas bawah \(95\%\)) dan target \(70\%\) hanya sebesar \(0,56\%\). Secara praktis, ini adalah hasil yang sangat mepet (borderline).

6 Referensi

Malik, A. (2018). Statistika pendidikan: Teori dan aplikasi. Deepublish. https://digilib.uinsgd.ac.id/21828/1/buku%20statistika%20pendidikan.pdf

National Institute of Standards and Technology. (2023). Confidence limits for the mean. https://www.itl.nist.gov/div898/handbook/eda/section3/eda352.htm

Illowsky, B., & Dean, S. (2022). Introductory statistics. OpenStax, Rice University. https://openstax.org/details/books/introductory-statistics

Study Cases

Convidence Interval ~ Week 13

Nailatul Wafiroh

1 Case Study 1

1.1 Pembahasan

1.1.1 Uji Statistik yang Tepat

1.1.2 Perhitungan Interval Kepercayaan

1.1.3 Visualisasi

1.1.4 Interpretasi Analisis Bisnis

2 Case Study 2

2.1 Pembahasan

2.1.1 Uji Statistik yang Tepat

2.1.2 Perhitungan Interval Kepercayaan

2.1.3 Visualisasi

2.1.4 Pengaruh Tingkat Kepercayaan dan Ukuran Sampel terhadap Lebar Confidence Interval

3 Study Case 3

3.1 Pembahasan

3.1.1 sample proportion \(\hat{p}\)

3.1.2 Perhitungan Interval Kepercayaan

3.1.3 Visualisasi

3.1.4 Pengaruh Tingkat Kepercayaan pada Keputusan Produk

4 Case Study 4

4.1 Pembahasan

4.1.1 Uji Statistik yang Tepat

4.1.2 Perhitungan Interval Kepercayaan

4.1.3 Visualisasi

4.1.4 Mengapa Lebar Interval Berbeda?

5 Case Study 5

5.1 Pembahasann

5.1.1 Identifikasi Jenis Selang Kepercayaan dan Uji yang Sesuai

5.1.2 Perhitungan Interval Kepercayaan

5.1.3 Visualisasi

5.1.4 Analisis & Kesimpulan Akhir

6 Referensi