Study Cases

Confidence Interval~ Week 13

CONTACT INFORMATION
Email Address
Andremusari276@gmail.com
Student ID
52250065
LinkedIn Profile
View Profile →

ANDRE

Data Science Student
ITSB
Institut Teknologi Sains Bandung
ACADEMIC ADVISOR
Bakti Siregar, M.Sc., CDS
CORE COMPETENCIES
Data Analysis
Machine Learning
Statistics
Data Visualization
Institut Teknologi Sains Bandung • Data Science • 2025

1 Case Study 1

Confidence Interval for Mean, \(\sigma\) Known: An e-commerce platform wants to estimate the average number of daily transactions per user after launching a new feature. Based on large-scale historical data, the population standard deviation is known.

\[ \begin{eqnarray*} \sigma &=& 3.2 \quad \text{(population standard deviation)} \\ n &=& 100 \quad \text{(sample size)} \\ \bar{x} &=& 12.6 \quad \text{(sample mean)} \end{eqnarray*} \]

Tasks

  1. Identify the appropriate statistical test and justify your choice.
  2. Compute the Confidence Intervals for:
    • \(90\%\)
    • \(95\%\)
    • \(99\%\)
  3. Create a comparison visualization of the three confidence intervals.
  4. Interpret the results in a business analytics context.

1.1 Answer Study Case 1

1.1.1 Data dan Parameter

Diketahui parameter sebagai berikut:

  • Rata-rata sampel:
    \[ \bar{x} = 12.6 \]

  • Simpangan baku populasi:
    \[ \sigma = 3.2 \]

  • Ukuran sampel:
    \[ n = 100 \]

1.1.2 Tujuan Statistik

Mengestimasi mean populasi (μ) jumlah transaksi harian per user.

1.1.3 Kondisi Statistik

  • Parameter yang diestimasi adalah mean
  • Simpangan baku populasi diketahui
  • Ukuran sampel besar (n ≥ 30)

1.1.4 Metode yang Digunakan

Berdasarkan kondisi di atas, metode yang tepat adalah:

Confidence Interval Mean dengan distribusi Z (Z-Interval)

Distribusi Z digunakan karena simpangan baku populasi diketahui dan ukuran sampel cukup besar sehingga distribusi mean mengikuti distribusi normal (Central Limit Theorem).

1.1.5 Rumus Confidence Interval

Rumus umum confidence interval untuk mean dengan simpangan baku populasi diketahui:

\[ \boxed{ \bar{x} \pm z_{\alpha/2}\left(\frac{\sigma}{\sqrt{n}}\right) } \]

1.1.6 Perhitungan Standard Error

\[ SE = \frac{\sigma}{\sqrt{n}} = \frac{3.2}{\sqrt{100}} = 0.32 \]

1.1.7 Perhitungan Confidence Interval

1.1.7.1 Confidence Interval 90%

  • Nilai kritis:
    \[ z_{0.05} = 1.645 \]

  • Margin of Error: \[ ME = 1.645 \times 0.32 = 0.5264 \]

  • Interval: \[ (12.6 - 0.5264,\; 12.6 + 0.5264) \]

\[ \boxed{(12.07,\; 13.13)} \]

1.1.7.2 Confidence Interval 95%

  • Nilai kritis:
    \[ z_{0.025} = 1.96 \]

  • Margin of Error: \[ ME = 1.96 \times 0.32 = 0.6272 \]

  • Interval: \[ (12.6 - 0.6272,\; 12.6 + 0.6272) \]

\[ \boxed{(11.97,\; 13.23)} \]

1.1.7.3 Confidence Interval 99%

  • Nilai kritis:
    \[ z_{0.005} = 2.576 \]

  • Margin of Error: \[ ME = 2.576 \times 0.32 = 0.8243 \]

  • Interval: \[ (12.6 - 0.8243,\; 12.6 + 0.8243) \]

\[ \boxed{(11.78,\; 13.42)} \]

1.1.8 Visualisasi Confidence Interval

1.1.9 Visualisasi Confidence Interval

Visualisasi menunjukkan bahwa semakin tinggi tingkat kepercayaan (confidence level), semakin lebar interval estimasi. Hal ini terjadi karena peningkatan tingkat keyakinan membutuhkan rentang nilai yang lebih luas untuk mencakup parameter populasi yang sebenarnya.

Dengan kata lain, terdapat trade-off antara presisi estimasi dan tingkat keyakinan: interval yang lebih sempit memberikan estimasi yang lebih presisi, namun dengan tingkat keyakinan yang lebih rendah, sementara interval yang lebih lebar memberikan tingkat keyakinan yang lebih tinggi tetapi dengan presisi yang lebih rendah.

1.1.10 Interpretasi Bisnis

1.1.11 Interpretasi Statistik

Sebagai contoh, confidence interval 95% dapat diinterpretasikan sebagai berikut:

Dengan tingkat keyakinan 95%, rata-rata sebenarnya jumlah transaksi harian per user berada antara 11.97 hingga 13.23 transaksi.

Interpretasi ini menegaskan bahwa confidence interval mencerminkan keandalan metode estimasi statistik, bukan probabilitas bahwa nilai rata-rata populasi berada di dalam interval tersebut. Interval tersebut dibentuk berdasarkan prosedur sampling yang, dalam jangka panjang, akan mencakup parameter populasi yang sebenarnya sebesar 95% dari waktu.

1.1.12 Implikasi Bisnis

1.1.13 Evaluasi Kinerja Fitur Baru

Seluruh interval kepercayaan (90%, 95%, dan 99%) menunjukkan bahwa rata-rata transaksi harian per user berada di kisaran 12 hingga 13 transaksi per hari. Hal ini mengindikasikan bahwa fitur baru yang diluncurkan memberikan kinerja yang stabil dan konsisten dalam meningkatkan aktivitas transaksi pengguna.

1.1.14 Pengambilan Keputusan Manajerial

Perbedaan tingkat confidence interval dapat dimanfaatkan sesuai dengan konteks pengambilan keputusan bisnis:

  • 90% Confidence Interval
    Cocok digunakan untuk keputusan operasional jangka pendek yang membutuhkan kecepatan dan presisi tinggi.

  • 95% Confidence Interval
    Merupakan standar dalam analitik bisnis karena memberikan keseimbangan optimal antara tingkat keyakinan dan ketepatan estimasi.

  • 99% Confidence Interval
    Digunakan untuk keputusan strategis dengan risiko tinggi, seperti investasi besar atau perubahan kebijakan utama, di mana tingkat keyakinan menjadi prioritas utama.

1.1.15 Manajemen Risiko

Interval kepercayaan yang lebih lebar mencerminkan pendekatan yang lebih konservatif dalam pengambilan keputusan. Pendekatan ini membantu manajemen dalam mengurangi risiko kesalahan estimasi, terutama ketika keputusan yang diambil memiliki dampak finansial atau operasional yang signifikan.

1.1.16 Kesimpulan

Berdasarkan analisis yang dilakukan, dapat disimpulkan bahwa:

  1. Rata-rata transaksi harian per user diestimasi sebesar 12.6 transaksi.
  2. Lebar confidence interval meningkat seiring dengan meningkatnya tingkat keyakinan.
  3. Confidence interval 95% merupakan pilihan yang paling seimbang untuk kebutuhan analisis bisnis dan pelaporan manajerial karena memberikan kombinasi optimal antara akurasi dan keandalan estimasi.

2 Case Study 2

Confidence Interval for Mean, \(\sigma\) Unknown: A UX Research team analyzes task completion time (in minutes) for a new mobile application. The data are collected from 12 users:

\[ 8.4,\; 7.9,\; 9.1,\; 8.7,\; 8.2,\; 9.0,\; 7.8,\; 8.5,\; 8.9,\; 8.1,\; 8.6,\; 8.3 \]

Tasks:

  1. Identify the appropriate statistical test and explain why.
  2. Compute the Confidence Intervals for:
    • \(90\%\)
    • \(95\%\)
    • \(99\%\)
  3. Visualize the three intervals on a single plot.
  4. Explain how sample size and confidence level influence the interval width.

2.1 Answer Study Case 2

Data waktu penyelesaian tugas (menit):

\[ 8.4,\; 7.9,\; 9.1,\; 8.7,\; 8.2,\; 9.0,\; 7.8,\; 8.5,\; 8.9,\; 8.1,\; 8.6,\; 8.3 \]

Jumlah data:

\[ n = 12 \]

2.1.1 Metode Statistik

Digunakan Confidence Interval Mean dengan distribusi t-Student, karena:

  • Parameter yang dicari adalah rata-rata
  • Simpangan baku populasi tidak diketahui
  • Ukuran sampel kecil (\(n < 30\))

Rata-rata Sampel

2.1.2 Rumus

\[ \displaystyle \bar{x} = \frac{\sum x_i}{n} \]

2.1.3 Substitusi

\[ \displaystyle \bar{x} = \frac{ 8.4 + 7.9 + 9.1 + 8.7 + 8.2 + 9.0 + 7.8 + 8.5 + 8.9 + 8.1 + 8.6 + 8.3 }{12} \]

\[ \displaystyle \bar{x} = \frac{101.5}{12} = 8.46 \]

Rata-rata waktu penyelesaian tugas = 8.46 menit

Simpangan Baku Sampel

2.1.4 Rumus

\[ \displaystyle s = \sqrt{\frac{\sum (x_i - \bar{x})^2}{n - 1}} \]

Diketahui hasil penjumlahan kuadrat selisih:

\[ \sum (x_i - \bar{x})^2 \approx 1.68 \]

2.1.5 Substitusi

\[ \displaystyle s = \sqrt{\frac{1.68}{11}} \]

\[ \displaystyle s = \sqrt{0.1527} \approx 0.39 \]

Simpangan baku sampel = 0.39 menit

2.1.6 Rumus Confidence Interval Mean

\[ \displaystyle CI = \bar{x} \pm t_{\alpha/2,\;n-1} \left( \frac{s}{\sqrt{n}} \right) \]

Dengan:

\[ \bar{x} = 8.46,\quad s = 0.39,\quad n = 12,\quad df = 11 \]

2.1.7 Standard Error

2.1.8 Rumus

\[ \displaystyle SE = \frac{s}{\sqrt{n}} \]

2.1.9 Substitusi

\[ \displaystyle SE = \frac{0.39}{\sqrt{12}} \]

\[ \displaystyle SE = \frac{0.39}{3.46} = 0.113 \]

2.1.10 Confidence Interval 90%

\[ \alpha = 1 - 0.90 = 0.10 \Rightarrow \alpha/2 = 0.05 \]

\[ t_{0.05,11} = 1.796 \]

\[ \displaystyle CI_{90\%} = 8.46 \pm 1.796 \times 0.113 \]

\[ \displaystyle CI_{90\%} = 8.46 \pm 0.22 = (8.24,\; 8.68) \]

2.1.11 Confidence Interval 95%

\[ \alpha = 1 - 0.95 = 0.05 \Rightarrow \alpha/2 = 0.025 \]

\[ t_{0.025,11} = 2.201 \]

\[ \displaystyle CI_{95\%} = 8.46 \pm 2.201 \times 0.113 \]

\[ \displaystyle CI_{95\%} = 8.46 \pm 0.27 = (8.19,\; 8.73) \]

2.1.12 Confidence Interval 99%

\[ \alpha = 1 - 0.99 = 0.01 \Rightarrow \alpha/2 = 0.005 \]

\[ t_{0.005,11} = 3.106 \]

\[ \displaystyle CI_{99\%} = 8.46 \pm 3.106 \times 0.113 \]

\[ \displaystyle CI_{99\%} = 8.46 \pm 0.38 = (8.08,\; 8.84) \]

2.1.13 Ringkasan

Confidence Level Confidence Interval
90% (8.24 – 8.68)
95% (8.19 – 8.73)
99% (8.08 – 8.84)

2.1.14 Visualisasi Confidence Interval

2.1.15 Cara Membaca Visualisasi Confidence Interval

Grafik confidence interval digunakan untuk menunjukkan rentang nilai rata-rata populasi yang mungkin berdasarkan data sampel.

Komponen Grafik

Garis putus-putus vertikal menunjukkan rata-rata sampel (mean):

\[ \bar{x} = 8.46 \]

Garis horizontal menunjukkan confidence interval untuk setiap tingkat kepercayaan:

  • Confidence level 90%:
    \[ (8.24,\; 8.68) \]

  • Confidence level 95%:
    \[ (8.19,\; 8.73) \]

  • Confidence level 99%:
    \[ (8.08,\; 8.84) \]

Titik di ujung kiri dan kanan garis horizontal merupakan: - batas bawah interval - batas atas interval

2.1.16 Interpretasi Visualisasi

  1. Semua confidence interval memotong garis mean
    Artinya, interval dibangun dari rata-rata sampel dan konsisten dengan data.

  2. Confidence interval 90% paling pendek
    Ini menunjukkan ketelitian tinggi, tetapi tingkat keyakinan lebih rendah.

  3. Confidence interval 95% lebih lebar dibanding 90%
    Tingkat keyakinan meningkat, sehingga rentang nilai diperluas.

  4. Confidence interval 99% paling lebar
    Keyakinan sangat tinggi, tetapi ketelitian menurun karena interval menjadi luas.

2.1.17 Hubungan Visualisasi dengan Rumus

Confidence interval dihitung dengan rumus:

\[ CI = \bar{x} \pm t \times \frac{s}{\sqrt{n}} \]

Pada visualisasi: - Nilai \(\bar{x}\) dan data tetap - Yang berubah hanyalah nilai \(t\)

Semakin besar nilai \(t\): - margin of error semakin besar - garis interval semakin panjang - confidence interval semakin lebar

2.1.18 Kesimpulan Akhir

Rata-rata waktu penyelesaian tugas pengguna adalah:

\[ \bar{x} = 8.46 \text{ menit} \]

Karena ukuran sampel kecil dan simpangan baku populasi tidak diketahui, digunakan distribusi t-Student.

Confidence interval menunjukkan bahwa rata-rata populasi kemungkinan besar berada dalam rentang:

  • 8.24 – 8.68 menit (90%)
  • 8.19 – 8.73 menit (95%)
  • 8.08 – 8.84 menit (99%)

Untuk analisis UX, confidence interval 95% merupakan pilihan paling seimbang karena memberikan tingkat keyakinan yang baik tanpa kehilangan terlalu banyak ketelitian.

Visualisasi membantu memahami trade-off antara keyakinan dan presisi secara langsung dan intuitif.

3 Case Study 3

Confidence Interval for a Proportion, A/B Testing: A data science team runs an A/B test on a new Call-To-Action (CTA) button design. The experiment yields:

\[ \begin{eqnarray*} n &=& 400 \quad \text{(total users)} \\ x &=& 156 \quad \text{(users who clicked the CTA)} \end{eqnarray*} \]

Tasks:

  1. Compute the sample proportion \(\hat{p}\).
  2. Compute Confidence Intervals for the proportion at:
    • \(90\%\)
    • \(95\%\)
    • \(99\%\)
  3. Visualize and compare the three intervals.
  4. Explain how confidence level affects decision-making in product experiments.

3.1 Answer Study Case 3

3.1.1 pertanyaan 1 — Compute the Sample Proportion (\(\hat{p}\))

Penjelasan Konsep

Proporsi sampel (\(\hat{p}\)) digunakan untuk mengestimasi proporsi sebenarnya dari populasi yang melakukan klik CTA.

Rumus

\[ \hat{p} = \frac{x}{n} \]

Substitusi Angk

\[ \hat{p} = \frac{156}{400} = 0.39 \]

Interpretasi

Hasil ini menunjukkan bahwa sekitar 39% pengguna dalam eksperimen mengklik tombol CTA.

3.1.2 Pertanyaan 2 Compute Confidence Interval (90%, 95%, 99%)

Metode yang Digunakan

Confidence Interval untuk proporsi menggunakan pendekatan distribusi normal (Z-interval) karena:

  • Ukuran sampel cukup besar
  • Data berbentuk proporsi
  • Syarat normal approximation terpenuhi

Pemeriksaan Syarat

\[ n\hat{p} = 400(0.39) = 156 \ge 10 \]

\[ n(1-\hat{p}) = 400(0.61) = 244 \ge 10 \]

Pendekatan normal valid

Rumus Confidence Interval Proporsi

\[ CI = \hat{p} \pm z_{\alpha/2} \sqrt{\frac{\hat{p}(1-\hat{p})}{n}} \]

Menghitung Standard Error (SE)

\[ SE = \sqrt{\frac{0.39(1-0.39)}{400}} \approx 0.0244 \]

Confidence Interval 90%

  • Nilai kritis: \(z = 1.645\)

\[ ME = 1.645 \times 0.0244 \approx 0.040 \]

\[ CI_{90\%} = (0.35,\; 0.43) \]

Confidence Interval 95%

  • Nilai kritis: \(z = 1.96\)

\[ ME = 1.96 \times 0.0244 \approx 0.048 \]

\[ CI_{95\%} = (0.34,\; 0.44) \]

Confidence Interval 99%

  • Nilai kritis: \(z = 2.576\)

\[ ME = 2.576 \times 0.0244 \approx 0.063 \]

\[ CI_{99\%} = (0.33,\; 0.45) \]

3.1.3 Pertanyaan 3 Visualize and Compare the Three Confidence Intervals

Tujuan Visualisasi

Visualisasi digunakan untuk membandingkan lebar interval pada berbagai tingkat kepercayaan dan memahami hubungan antara confidence level dan ketidakpastian estimasi.

Visualisasi Confidence Interval

3.1.4 Interpretasi Visual

Hasil visualisasi confidence interval menunjukkan beberapa poin penting berikut:

  • Semua interval berpusat pada nilai proporsi sampel
    \[ \hat{p} = 0.39 \]

  • Confidence Interval 90% merupakan interval yang paling sempit, sehingga memberikan estimasi yang paling presisi.

  • Confidence Interval 95% memberikan keseimbangan antara tingkat presisi dan keyakinan statistik.

  • Confidence Interval 99% memiliki rentang paling lebar, yang mencerminkan pendekatan pengambilan keputusan yang lebih konservatif.

📌 Visualisasi ini menegaskan bahwa peningkatan confidence level tidak mengubah estimasi pusat, tetapi memperlebar rentang nilai proporsi yang dianggap masuk akal.

3.1.5 Pertanyaan 4 Pengaruh Confidence Level terhadap Pengambilan Keputusan Produk

3.1.5.1 Makna Confidence Level

Confidence level menunjukkan keandalan metode estimasi statistik, bukan probabilitas bahwa nilai parameter sebenarnya berada di dalam interval tertentu.

Semakin tinggi confidence level:

  • risiko kesalahan statistik semakin menurun
  • ketidakpastian estimasi (lebar interval) semakin meningkat

3.1.5.2 Trade-Off Utama

Confidence Level Presisi Estimasi Risiko Keputusan
90% Tinggi Risiko relatif lebih besar
95% Seimbang Risiko moderat
99% Lebih rendah Risiko sangat kecil

3.1.5.3 Implikasi pada Eksperimen CTA

Misalkan target bisnis adalah CTR ≥ 40%, maka interpretasi confidence interval adalah sebagai berikut:

  • CI 90% (0.35 – 0.43)
    → Target masih mungkin tercapai, namun dengan tingkat keyakinan yang lebih rendah.

  • CI 95% (0.34 – 0.44)
    → Bukti statistik belum cukup kuat untuk menyatakan target telah tercapai.

  • CI 99% (0.33 – 0.45)
    → Klaim keberhasilan menjadi sangat lemah karena tingginya ketidakpastian estimasi.

📌 Semakin tinggi confidence level, semakin sulit menyatakan bahwa CTA telah memenuhi target performa secara meyakinkan.

3.1.5.4 Dampak Strategis bagi Tim Produk

Pemilihan confidence level berpengaruh langsung terhadap:

  • Kecepatan iterasi produk,
  • Toleransi risiko bisnis,
  • Legitimasi keputusan di mata stakeholder.

Oleh karena itu, confidence level harus dipilih dengan mempertimbangkan dampak dan risiko dari keputusan produk yang diambil.

3.1.6 Kesimpulan Akhir

  • Estimasi proporsi klik CTA adalah 39%.
  • Confidence interval menggambarkan tingkat ketidakpastian dari estimasi tersebut.
  • Semakin tinggi confidence level:
    • interval estimasi semakin lebar,
    • keputusan yang diambil semakin konservatif.
  • Berdasarkan hasil analisis ini, belum terdapat bukti statistik yang cukup kuat untuk menyatakan bahwa desain CTA telah optimal.
  • Diperlukan eksperimen lanjutan atau iterasi desain untuk memperoleh kesimpulan yang lebih meyakinkan.

4 Case Study 4

Precision Comparison (Z-Test vs t-Test): Two data teams measure API latency (in milliseconds) under different conditions.

\[\begin{eqnarray*} \text{Team A:} \\ n &=& 36 \quad \text{(sample size)} \\ \bar{x} &=& 210 \quad \text{(sample mean)} \\ \sigma &=& 24 \quad \text{(known population standard deviation)} \\[6pt] \text{Team B:} \\ n &=& 36 \quad \text{(sample size)} \\ \bar{x} &=& 210 \quad \text{(sample mean)} \\ s &=& 24 \quad \text{(sample standard deviation)} \end{eqnarray*}\]

Tasks

  1. Identify the statistical test used by each team.
  2. Compute Confidence Intervals for 90%, 95%, and 99%.
  3. Create a visualization comparing all intervals.
  4. Explain why the interval widths differ, even with similar data.

4.1 Answer Study Case 4

4.1.0.1 Latar Belakang Kasus

Dua tim data (Team A dan Team B) mengukur API latency (dalam milidetik) untuk menilai performa sistem.
Walaupun data yang diperoleh terlihat mirip, kedua tim menggunakan metode statistik yang berbeda untuk membangun confidence interval.

4.1.1 Data yang Diketahui

4.1.1.1 Team A

  • Ukuran sampel:
    \[ n = 36 \]
  • Rata-rata sampel:
    \[ \bar{x} = 210 \]
  • Standar deviasi populasi (diketahui):
    \[ \sigma = 24 \]

4.1.1.2 Team B

  • Ukuran sampel:
    \[ n = 36 \]
  • Rata-rata sampel:
    \[ \bar{x} = 210 \]
  • Standar deviasi sampel (estimasi):
    \[ s = 24 \]

4.1.2 Pertanyaan 1 — Identify the Statistical Test Used by Each Team

4.1.2.1 Team A — Z-Test

Team A menggunakan Z-Test karena: - Standar deviasi populasi (\(\sigma\)) diketahui - Ukuran sampel cukup besar - Data memenuhi asumsi distribusi normal

📌 Team A menggunakan confidence interval berbasis distribusi normal (Z-interval).

4.1.2.2 Team B — T-Test

Team B menggunakan T-Test karena: - Standar deviasi populasi tidak diketahui - Hanya tersedia standar deviasi sampel (\(s\)) - Ketidakpastian lebih besar sehingga diperlukan distribusi t

📌 Team B menggunakan confidence interval berbasis distribusi t (t-interval) dengan: \[ df = n - 1 = 35 \]

4.1.3 Pertanyaan 2 — Compute Confidence Intervals (90%, 95%, 99%)

4.1.3.1 Rumus Confidence Interval

4.1.3.2 Z-Test (Team A)

\[ CI = \bar{x} \pm z_{\alpha/2} \times \frac{\sigma}{\sqrt{n}} \]

4.1.3.3 T-Test (Team B)

\[ CI = \bar{x} \pm t_{\alpha/2, df} \times \frac{s}{\sqrt{n}} \]

4.1.3.4 Menghitung Standard Error (SE)

\[ SE = \frac{24}{\sqrt{36}} = \frac{24}{6} = 4 \]

Artinya, rata-rata sampel diperkirakan menyimpang sekitar ±4 ms dari nilai sebenarnya.

4.1.4 Informasi Dasar

Diketahui: - Rata-rata sampel
\[ \bar{x} = 210 \]

  • Ukuran sampel
    \[ n = 36 \]

  • Standar deviasi (populasi/sampel)
    \[ \sigma = s = 24 \]

  • Standard Error (SE): \[ SE = \frac{24}{\sqrt{36}} = \frac{24}{6} = 4 \]

4.1.5 ✅ Confidence Interval Team A (Z-Test)

4.1.5.1 🔹 Confidence Level 90%

Nilai kritis: \[ z_{0.05} = 1.645 \]

Substitusi ke rumus: \[ CI = 210 \pm (1.645 \times 4) \]

Hitung margin of error: \[ 1.645 \times 4 = 6.58 \]

Sehingga: \[ CI = (210 - 6.58,\; 210 + 6.58) \]

Hasil akhir: \[ \boxed{(203.42,\;216.58)} \]

4.1.5.2 🔹 Confidence Level 95%

Nilai kritis: \[ z_{0.025} = 1.96 \]

Substitusi ke rumus: \[ CI = 210 \pm (1.96 \times 4) \]

Margin of error: \[ 1.96 \times 4 = 7.84 \]

Hasil: \[ CI = (210 - 7.84,\; 210 + 7.84) \]

\[ \boxed{(202.16,\;217.84)} \]

4.1.5.3 🔹 Confidence Level 99%

Nilai kritis: \[ z_{0.005} = 2.576 \]

Substitusi: \[ CI = 210 \pm (2.576 \times 4) \]

Margin of error: \[ 2.576 \times 4 = 10.30 \]

Hasil: \[ CI = (210 - 10.30,\; 210 + 10.30) \]

\[ \boxed{(199.70,\;220.30)} \]

4.1.6 Confidence Interval Team B (T-Test)

Rumus confidence interval dengan T-Test:

\[ CI = \bar{x} \pm t_{\alpha/2, df} \times SE \]

Derajat kebebasan: \[ df = n - 1 = 35 \]

4.1.6.1 🔹 Confidence Level 90%

Nilai kritis: \[ t_{0.05, 35} = 1.690 \]

Substitusi: \[ CI = 210 \pm (1.690 \times 4) \]

Margin of error: \[ 1.690 \times 4 = 6.76 \]

Hasil: \[ CI = (210 - 6.76,\; 210 + 6.76) \]

\[ \boxed{(203.24,\;216.76)} \]

4.1.6.2 🔹 Confidence Level 95%

Nilai kritis: \[ t_{0.025, 35} = 2.030 \]

Substitusi: \[ CI = 210 \pm (2.030 \times 4) \]

Margin of error: \[ 2.030 \times 4 = 8.12 \]

Hasil: \[ CI = (210 - 8.12,\; 210 + 8.12) \]

\[ \boxed{(201.88,\;218.12)} \]

4.1.6.3 🔹 Confidence Level 99%

Nilai kritis: \[ t_{0.005, 35} = 2.724 \]

Substitusi: \[ CI = 210 \pm (2.724 \times 4) \]

Margin of error: \[ 2.724 \times 4 = 10.90 \]

Hasil: \[ CI = (210 - 10.90,\; 210 + 10.90) \]

\[ \boxed{(199.10,\;220.90)} \]

4.1.7 Pertanyaan 3 — Visualisasi Perbandingan Semua Confidence Interval

4.1.7.1 Tujuan Visualisasi

Visualisasi ini digunakan untuk: - Membandingkan lebar interval - Menunjukkan perbedaan presisi antara Z-Test dan T-Test

4.1.7.2 Grafik Perbandingan Confidence Interval

4.1.8 Interpretasi Visual

Berdasarkan visualisasi confidence interval yang diperoleh, seluruh interval baik dari Z-Test maupun T-Test berpusat pada nilai 210 ms. Hal ini menunjukkan bahwa kedua metode menggunakan nilai rata-rata sampel (point estimate) yang sama. Dengan demikian, tidak terdapat perbedaan estimasi mean antara Team A dan Team B.

Perbedaan utama terlihat pada lebar interval, di mana confidence interval Team B (T-Test) selalu lebih lebar dibandingkan Team A (Z-Test). Lebarnya interval ini mencerminkan tingkat kehati-hatian statistik yang lebih tinggi dalam mengakomodasi ketidakpastian data.

Selain itu, perbedaan lebar interval semakin jelas pada confidence level yang lebih tinggi, khususnya pada tingkat kepercayaan 99%. Semakin tinggi tingkat kepercayaan yang digunakan, semakin besar margin of error yang dihasilkan, terutama pada metode T-Test.

📌 Temuan ini menunjukkan bahwa T-Test bersifat lebih konservatif dibandingkan Z-Test, karena menghasilkan confidence interval yang lebih lebar untuk tingkat kepercayaan yang sama.

4.1.9 Pertanyaan 4 — Mengapa Lebar Confidence Interval Berbeda?

4.1.9.1 Perbedaan Distribusi Statistik

Z-Test menggunakan distribusi normal standar, sedangkan T-Test menggunakan distribusi t-Student dengan derajat bebas tertentu.

Distribusi t memiliki ekor yang lebih tebal (fatter tails) dibandingkan distribusi normal. Akibatnya, untuk tingkat kepercayaan yang sama, nilai kritis distribusi t selalu lebih besar dibandingkan nilai kritis distribusi normal. Nilai kritis yang lebih besar ini secara langsung menyebabkan confidence interval menjadi lebih lebar.

4.1.9.2 Pengetahuan vs Estimasi Variabilitas

Perbedaan berikutnya terletak pada informasi mengenai variabilitas data:

  • Team A (Z-Test) mengetahui standar deviasi populasi (σ), sehingga tingkat ketidakpastian relatif lebih kecil.
  • Team B (T-Test) tidak mengetahui standar deviasi populasi dan harus mengestimasi menggunakan standar deviasi sampel (s), yang mengandung ketidakpastian tambahan.

📌 Ketidakpastian akibat proses estimasi varians ini harus dikompensasi secara statistik, sehingga menghasilkan confidence interval yang lebih lebar pada T-Test.

4.1.10 Nilai Kritis yang Lebih Besar pada T-Test

Confidence Level Z t (df = 35)
90% 1.645 1.690
95% 1.960 2.030
99% 2.576 2.724

Semakin besar nilai kritis, semakin besar margin of error yang dihasilkan. Karena nilai kritis distribusi t selalu lebih besar dibandingkan distribusi normal, maka confidence interval pada T-Test selalu lebih lebar dibandingkan Z-Test.

4.1.11 Implikasi dalam Konteks API Latency

Dalam konteks pengukuran API latency:

  • Confidence interval sempit (Z-Test) memungkinkan pengambilan keputusan yang lebih cepat dan presisi tinggi, namun berisiko underestimasi jika asumsi varians populasi tidak sepenuhnya akurat.

  • Confidence interval lebar (T-Test) memberikan pendekatan yang lebih aman dan defensif, sehingga lebih cocok untuk sistem kritikal yang menuntut reliabilitas tinggi.

📌 Dalam praktik engineering, pendekatan konservatif sering lebih disukai untuk meminimalkan risiko kegagalan sistem.

4.1.12 Kesimpulan Akhir

  • Team A menggunakan Z-Test karena variabilitas populasi diketahui.
  • Team B menggunakan T-Test karena variabilitas populasi hanya dapat diestimasi dari sampel.
  • Penggunaan distribusi t dan estimasi varians menyebabkan confidence interval T-Test lebih lebar dibandingkan Z-Test.
  • Perbedaan ini mencerminkan trade-off antara presisi dan kehati-hatian dalam inferensi statistik.

Untuk pengambilan keputusan yang bersifat penting dan berisiko tinggi, T-Test memberikan perlindungan statistik yang lebih baik karena secara eksplisit mengakomodasi ketidakpastian data.

5 Case Study 5

One-Sided Confidence Interval: A Software as a Service (SaaS) company wants to ensure that at least 70% of weekly active users utilize a premium feature.

From the experiment:

\[ \begin{eqnarray*} n &=& 250 \quad \text{(total users)} \\ x &=& 185 \quad \text{(active premium users)} \end{eqnarray*} \]

Management is only interested in the lower bound of the estimate.

Tasks:

  1. Identify the type of Confidence Interval and the appropriate test.
  2. Compute the one-sided lower Confidence Interval at:
    • \(90\%\)
    • \(95\%\)
    • \(99\%\)
  3. Visualize the lower bounds for all confidence levels.
  4. Determine whether the 70% target is statistically satisfied.

5.1 Answer Study Case 5

Data hasil observasi: - Jumlah pengguna total: \(n = 250\) - Pengguna premium aktif: \(x = 185\)

5.1.1 Nomor 1 — Identifikasi Jenis Confidence Interval

Karena: - Variabel berupa proporsi (ya/tidak menggunakan fitur premium), - Tujuan manajemen adalah memastikan nilai minimum yang aman, - Klaim berbunyi at least 70%,

maka digunakan:

One-Sided (Lower) Confidence Interval untuk Proporsi Populasi

Pendekatan normal (Z) valid karena: \[ np = 185 > 10 \quad \text{dan} \quad n(1-p) = 65 > 10 \]

5.1.2 Penurunan Rumus Confidence Interval

5.1.2.1 Proporsi Sampel

Proporsi sampel didefinisikan sebagai: \[ \hat{p} = \frac{x}{n} \]

Substitusi data: \[ \hat{p} = \frac{185}{250} = 0.74 \]

Artinya: > Dari data, 74% pengguna aktif menggunakan fitur premium.

5.1.2.2 Distribusi Sampling dari Proporsi

Untuk sampel besar, distribusi sampling dari \(\hat{p}\) dapat didekati dengan distribusi normal: \[ \hat{p} \sim N\left(p, \frac{p(1-p)}{n}\right) \]

Karena nilai \(p\) tidak diketahui, maka diganti dengan \(\hat{p}\).

5.1.3 Standard Error (SE)

Standard error mengukur seberapa besar fluktuasi \(\hat{p}\) akibat pengambilan sampel acak.

Rumus: \[ SE = \sqrt{\frac{\hat{p}(1 - \hat{p})}{n}} \]

Substitusi angka: \[ SE = \sqrt{\frac{0.74(1 - 0.74)}{250}} \]

Hitung bagian dalam: \[ 0.74(0.26) = 0.1924 \]

\[ \frac{0.1924}{250} = 0.0007696 \]

Akar kuadrat: \[ SE = \sqrt{0.0007696} \approx 0.0277 \]

Makna: > Kesalahan rata-rata estimasi proporsi sekitar 2.77%.

5.1.3.1 Konsep One-Sided Lower Confidence Interval

Confidence interval satu sisi hanya memperhatikan satu arah ketidakpastian.

Rumus umum: \[ P\left( \hat{p} - z_\alpha SE \le p \right) = 1 - \alpha \]

Sehingga batas bawah dirumuskan sebagai: \[ \text{Lower Bound} = \hat{p} - z_\alpha \cdot SE \]

5.1.4 Nomor 2 — Perhitungan Lengkap Lower Confidence Interval

5.1.4.1 Confidence Level 90%

\[ \alpha = 0.10 \Rightarrow z_{0.90} = 1.282 \]

\[ LB_{90} = 0.74 - (1.282)(0.0277) \]

\[ LB_{90} = 0.74 - 0.0355 \]

\[ LB_{90} = 0.7045 \]

➡️ Lower Bound 90% = 70.45%

5.1.4.2 Confidence Level 95%

\[ \alpha = 0.05 \Rightarrow z_{0.95} = 1.645 \]

\[ LB_{95} = 0.74 - (1.645)(0.0277) \]

\[ LB_{95} = 0.74 - 0.0456 \]

\[ LB_{95} = 0.6944 \]

➡️ Lower Bound 95% = 69.44%

5.1.4.3 Confidence Level 99%

\[ \alpha = 0.01 \Rightarrow z_{0.99} = 2.33 \]

\[ LB_{99} = 0.74 - (2.33)(0.0277) \]

\[ LB_{99} = 0.74 - 0.0645 \]

\[ LB_{99} = 0.6755 \]

➡️ Lower Bound 99% = 67.55%

5.1.5 Nomor 3 — Visualisasi Lower Confidence Bound

5.1.6 Interpretasi Hasil Visualisasi Confidence Interval

Visualisasi yang ditampilkan menggambarkan lower bound dari one-sided confidence interval untuk proporsi pengguna aktif mingguan yang menggunakan fitur premium pada tiga tingkat kepercayaan: 90%, 95%, dan 99%.

Pada grafik: - Garis vertikal di 0.74 menunjukkan estimasi titik proporsi pengguna premium. - Garis vertikal putus-putus di 0.70 merepresentasikan target minimum perusahaan.

Meskipun estimasi titik berada cukup jauh di atas target, visualisasi menunjukkan bahwa keputusan tidak dapat hanya didasarkan pada estimasi titik, melainkan harus mempertimbangkan batas bawah interval kepercayaan.

Pada confidence level 90%, lower bound berada pada 70.45%, sedikit di atas target. Secara visual, titik lower bound masih berada di sisi kanan garis target, yang berarti bahwa dengan tingkat keyakinan 90%, perusahaan masih dapat menyatakan bahwa minimal 70% pengguna aktif menggunakan fitur premium, meskipun memperhitungkan ketidakpastian sampel.

Namun, pada confidence level 95%, lower bound turun menjadi 69.44%, yang secara visual sudah berada di bawah garis target 70%. Hal ini menunjukkan bahwa ketika perusahaan meningkatkan tingkat keyakinan statistik, ketidakpastian yang diperhitungkan menjadi lebih besar sehingga klaim pencapaian target tidak lagi aman secara statistik.

Kondisi ini semakin jelas pada confidence level 99%, di mana lower bound turun hingga 67.55%. Pada tingkat kepercayaan ini, grafik menunjukkan jarak yang cukup jauh antara lower bound dan target, menandakan bahwa data yang tersedia belum cukup kuat untuk mendukung klaim bahwa minimal 70% pengguna aktif menggunakan fitur premium dengan keyakinan sangat tinggi.

Secara keseluruhan, visualisasi memperlihatkan bahwa semakin tinggi confidence level, semakin konservatif hasil inferensi, yang tercermin dari semakin jauhnya lower bound dari target perusahaan.

5.1.7 Nomor 4 — Evaluasi Target 70%

Berdasarkan hasil lower confidence bound pada masing-masing tingkat kepercayaan, evaluasi pencapaian target 70% dapat dirangkum sebagai berikut:

Confidence Level Lower Bound Apakah ≥ 70%
90% 70.45% ✅ Ya
95% 69.44% ❌ Tidak
99% 67.55% ❌ Tidak

Interpretasi tabel ini menunjukkan bahwa: - Pada confidence level 90%, target 70% masih dapat dinyatakan tercapai karena batas bawah interval berada di atas target. - Pada confidence level 95% dan 99%, target tidak dapat diklaim tercapai karena batas bawah interval berada di bawah 70%.

Dengan demikian, keamanan klaim KPI sangat bergantung pada tingkat keyakinan yang dipilih oleh perusahaan.

5.1.8 Kesimpulan Akhir

Estimasi titik menunjukkan bahwa sekitar 74% pengguna aktif menggunakan fitur premium, yang secara deskriptif melampaui target perusahaan. Namun, setelah mempertimbangkan ketidakpastian statistik melalui one-sided confidence interval, hasil evaluasi menjadi lebih nuansa.

Target 70%: - Aman pada confidence level 90% - Tidak aman pada confidence level 95% dan 99%

Hal ini mencerminkan adanya trade-off antara presisi dan kehati-hatian. Semakin tinggi confidence level yang dipilih, semakin konservatif keputusan yang diambil, dan semakin sulit sebuah klaim KPI untuk dipertahankan.

📌 Implikasi praktisnya: - Untuk evaluasi internal atau monitoring awal, confidence level 90% masih dapat diterima. - Untuk klaim strategis, pelaporan ke manajemen puncak, atau investor, diperlukan confidence level yang lebih tinggi, yang saat ini belum sepenuhnya didukung oleh data.

Agar klaim target 70% dapat dipertahankan pada confidence level yang lebih tinggi, perusahaan perlu menambah ukuran sampel atau meningkatkan tingkat adopsi fitur premium, sehingga batas bawah confidence interval terdorong naik secara signifikan.

6 Referensi

Daftar Referensi Pembelajaran Confidence Interval
Kategori Sumber Judul Link
Website/Buku Statistics How To Confidence Interval https://www.statisticshowto.com/confidence-interval/
Website/Buku Math is Fun Confidence Interval https://www.mathsisfun.com/data/confidence-interval.html
Website/Buku Introduction to Statistics Chapter 8: Confidence Interval https://bookdown.org/dsciencelabs/intro_statistics/08-Confidence_Interval.html
Video YouTube StatQuest Confidence Intervals Explained https://www.youtube.com/watch?v=czdwHU27OqA
Video YouTube Khan Academy Confidence Intervals and Margin of Error https://www.youtube.com/watch?v=MY1EfrR1ZUs
Video YouTube zedstatistics Confidence Intervals: The 7 Steps https://www.youtube.com/watch?v=3wRjvGoYhMA
Video YouTube DATAtab Calculate Confidence Interval in Statistics https://www.youtube.com/watch?v=dLEtlteLVJU
Video YouTube Brandon Foltz Confidence Intervals, Population Deviation Known https://www.youtube.com/watch?v=lxp8r2v4sic