Tugas Week 13 ~ Confidence Interval
Vanessa Ziba Ardelia
Data Science 25 – ITSB
Dosen Pengampu: Bakti Siregar, M.Sc., CDS.
Mata
Kuliah: Statistika Dasar
R Programming Data Science Statistics
1 Case Study 1
Confidence interval for mean, \(\sigma\) known: An e-commerce platform wants to estimate the average number of daily transactions per user after launching a new feature. Based on large-scale historial data, the population standard deviation is known.
\[ \begin{eqnarray*} \sigma &=& 3.2 \quad \text{(population standard deviation)} \\ n &=& 100 \quad \text{(sample size)} \\ \bar{x} &=& 12.6 \quad \text{(sample mean)} \end{eqnarray*} \]
Tasks
- Identify the appropriate statistical test and justify your choice.
- Compute the Confidence Intervals for:
- \(90\%\)
- \(95\%\)
- \(99\%\)
- Create a comparison visualization of the three confidence intervals.
- Interpret the results in a business analytics context.
1.1 Answer to Case Study 1
1.1.1 Uji Statistik yang Digunakan
Uji statistik yang tepat adalah Confidence Interval untuk Mean dengan Z-distribution.
Alasan:
- Simpangan baku populasi (σ) diketahui.
- Ukuran sampel besar (n = 100 ≥ 30).
- Tujuan analisis adalah mengestimasi rata-rata populasi, bukan menguji hipotesis.
1.1.2 Perhitungan
Diketahui
\(\bar{x} = 12.6\)
\(\sigma = 3.2\)
\(n = 100\)
Karena simpangan baku populasi (σ) diketahui, maka kita gunakan Z-Confidence Interval.
\[ CI = \bar{x} \pm z_{\alpha/2}\left(\frac{\sigma}{\sqrt{n}}\right) \] \[ \frac{\sigma}{\sqrt{n}}=\frac{3.2}{\sqrt{100}}=0.32 \]
Confidence Level 90%
- \(z = 1.645\)
\[MoE = 1.645 \times 0.32 = 0.5264\] \[CI_{90\%} = (12.07, 13.13)\]
Confidence Level 95%
- \(z = 1.96\)
\[MoE = 1.96 \times 0.32 = 0.6272\] \[CI_{95\%} = (11.97, 13.23)\]
Confidence Level 98%
- \(z = 1.645\)
\[MoE = 1.645 \times 0.32 = 0.8243\] \[CI_{99\%} = (11.78, 13.42)\]
1.1.3 Visualisasi Perbandingan
Visualisasi ini menunjukkan perbandingan interval kepercayaan (confidence intervals) untuk rata-rata transaksi harian per pengguna pada tiga tingkat kepercayaan yang berbeda: 90%, 95%, dan 99%.
Komponen visualisasi:
Titik biru: Menunjukkan rata-rata transaksi harian dari sampel, yaitu 12.6 transaksi per pengguna.
Garis merah vertikal (error bar): Menunjukkan rentang interval kepercayaan untuk masing-masing tingkat kepercayaan.
Bagian bawah garis adalah batas bawah interval.
Bagian atas garis adalah batas atas interval.
Sumbu X (Confidence): Menunjukkan tingkat kepercayaan (90%, 95%, dan 99%).
Sumbu Y: Menunjukkan jumlah transaksi harian.
1.1.4 Interpretasi Hasil Confidence Interval dalam Konteks Bisnis
CI 90% memberikan estimasi rata-rata transaksi dengan rentang paling sempit, namun memiliki risiko lebih besar karena tingkat keyakinannya lebih rendah.
CI 95% merupakan tingkat kepercayaan yang umum digunakan karena mampu menyeimbangkan antara ketepatan estimasi dan tingkat keyakinan.
CI 99% bersifat paling konservatif dengan tingkat keyakinan tertinggi, tetapi menghasilkan rentang estimasi yang lebih lebar sehingga kurang presisi.
Dalam konteks bisnis:
Selang kepercayaan membantu manajemen menilai tingkat ketidakpastian dalam estimasi rata-rata transaksi harian setelah peluncuran fitur baru.
Jika seluruh rentang CI berada di atas rata-rata transaksi sebelumnya, maka fitur baru berpotensi meningkatkan aktivitas transaksi.
Sebaliknya, apabila CI masih mencakup nilai rata-rata lama atau lebih rendah, maka fitur perlu dievaluasi lebih lanjut.
Interval yang lebih sempit, misalnya dengan menambah ukuran sampel, akan meningkatkan akurasi estimasi dan mendukung pengambilan keputusan yang lebih tepat.
2 Case Study 2
Confidence Interval for Mean, \(\sigma\) Unknown: A UX Research team analyzes task completion time (in minutes) for a new mobile application. The data are collected from 12 users:
\[ 8.4,\; 7.9,\; 9.1,\; 8.7,\; 8.2,\; 9.0,\; 7.8,\; 8.5,\; 8.9,\; 8.1,\; 8.6,\; 8.3 \]
Tasks:
- Identify the appropriate statistical test and explain why.
- Compute the Confidence Intervals for:
- \(90\%\)
- \(95\%\)
- \(99\%\)
- Visualize the three intervals on a single plot.
- Explain how sample size and confidence level influence the interval width.
2.1 Answer to Case Study 2
2.1.1 Uji yang digunakan:
Uji yang digunakan adalah One-Sample t Confidence Interval
Alasan:
Simpangan baku populasi (σ) tidak diketahui
Ukuran sampel kecil (n = 12)
Data diasumsikan berasal dari populasi berdistribusi normal
Oleh karena itu, distribusi t-Student adalah pilihan yang tepat untuk membentuk selang kepercayaan rata-rata populasi.
2.1.2 Perhitungan
Statistik Sampel
Sample mean (x̄) ≈ 8.46
Sample standard deviation (s) ≈ 0.41
Sample size (n) = 12
Standard error (SE) ≈ 0.12
Confidence Interval
90% CI ≈ (8.25 , 8.67)
95% CI ≈ (8.20 , 8.72)
99% CI ≈ (8.08 , 8.84)
Semakin tinggi confidence level → interval makin lebar
2.1.3 Visualisasi
Visualisasi menunjukkan perbandingan selang kepercayaan 90%, 95%, dan 99% terhadap rata-rata waktu penyelesaian tugas pengguna aplikasi. Kurva berbentuk lonceng merepresentasikan distribusi t-Student, yang digunakan karena simpangan baku populasi tidak diketahui dan ukuran sampel relatif kecil. Garis vertikal putus-putus di tengah kurva menunjukkan rata-rata sampel sebagai pusat dari setiap selang kepercayaan.
Area berwarna di bawah kurva menggambarkan rentang confidence interval, di mana interval 90% tampak paling sempit, interval 95% lebih lebar, dan interval 99% merupakan yang terluas.
2.1.4 Interpretasi
Berdasarkan selang kepercayaan yang diperoleh, rata-rata waktu penyelesaian tugas pengguna diperkirakan berada di sekitar nilai rata-rata sampel dengan tingkat keyakinan yang berbeda. Interval dengan tingkat kepercayaan lebih rendah menghasilkan estimasi yang lebih presisi, sedangkan tingkat kepercayaan yang lebih tinggi memberikan jaminan keyakinan yang lebih besar dengan konsekuensi rentang estimasi yang lebih luas.
Kondisi ini mencerminkan adanya trade-off antara ketepatan estimasi dan tingkat keyakinan. Selain itu, jumlah observasi yang terbatas menyebabkan ketidakpastian estimasi masih relatif besar, sehingga peningkatan ukuran sampel pada penelitian selanjutnya dapat menghasilkan selang kepercayaan yang lebih sempit dan estimasi yang lebih akurat.
3 Case Study 3
Confidence Interval for a Proportion, A/B Testing: A data science team runs an A/B test on a new Call-To-Action (CTA) button design. The experiment yields:
\[ \begin{eqnarray*} n &=& 400 \quad \text{(total users)} \\ x &=& 156 \quad \text{(users who clicked the CTA)} \end{eqnarray*} \]
Tasks:
- Compute the sample proportion \(\hat{p}\).
- Compute Confidence Intervals for the proportion at:
- \(90\%\)
- \(95\%\)
- \(99\%\)
- Visualize and compare the three intervals.
- Explain how confidence level affects decision-making in product experiments.
3.1 Answer to Case Study 3
3.1.1 Hitung Propotion Sample
Proporsi sampel dihitung sebagai jumlah pengguna yang mengklik dibagi total pengguna.
\(\hat{p} = \frac{x}{n} = \frac{156}{4000} = 0.39\)
Artinya, sekitar 39% pengguna mengklik CTA.
3.1.2 Confidence Interval untuk Proporsi
Karena yang dianalisis adalah proporsi, maka digunakan Confidence Interval proporsi (z-interval).
Hasil Confidence Interval
CI 90% : (0.350 , 0.430)
CI 95% : (0.342 , 0.438)
CI 99% : (0.327 , 0.453)
Semakin tinggi tingkat kepercayaan, semakin lebar selang kepercayaan.
3.1.3 Visualisasi
Interpretasi Visualisasi
Visualisasi menunjukkan perbandingan selang kepercayaan 90%, 95%, dan 99% untuk proporsi klik CTA. Garis vertikal putus-putus merepresentasikan proporsi sampel sebagai pusat estimasi. Terlihat bahwa semakin tinggi tingkat confidence, semakin lebar selang kepercayaan, yang mencerminkan peningkatan tingkat kehati-hatian dalam menyimpulkan hasil A/B testing.
3.1.4 Pengaruh Confidence Level terhadap Pengambilan Keputusan Produk
Pemilihan confidence level memengaruhi cara tim produk menafsirkan hasil eksperimen A/B testing. Tingkat kepercayaan yang lebih rendah menghasilkan rentang estimasi yang lebih fokus, namun meningkatkan kemungkinan kesimpulan meleset dari kondisi sebenarnya. Sebaliknya, tingkat kepercayaan yang lebih tinggi memperluas rentang estimasi sehingga hasil analisis menjadi lebih aman, tetapi kurang spesifik.
Dalam praktik pengembangan produk, confidence level yang digunakan mencerminkan tingkat toleransi risiko dalam pengambilan keputusan. Semakin besar dampak keputusan yang diambil, semakin tinggi tingkat keyakinan yang biasanya dibutuhkan sebelum menyatakan bahwa desain CTA baru memberikan peningkatan kinerja yang signifikan.
4 Case Study 4
Precision Comparison (Z-Test vs t-Test): Two data teams measure API latency (in milliseconds) under different conditions.
\[\begin{eqnarray*} \text{Team A:} \\ n &=& 36 \quad \text{(sample size)} \\ \bar{x} &=& 210 \quad \text{(sample mean)} \\ \sigma &=& 24 \quad \text{(known population standard deviation)} \\[6pt] \text{Team B:} \\ n &=& 36 \quad \text{(sample size)} \\ \bar{x} &=& 210 \quad \text{(sample mean)} \\ s &=& 24 \quad \text{(sample standard deviation)} \end{eqnarray*}\]
Tasks
- Identify the statistical test used by each team.
- Compute Confidence Intervals for 90%, 95%, and 99%.
- Create a visualization comparing all intervals.
- Explain why the interval widths differ, even with similar data.
4.1 Answer to Case Study 4
4.1.1 Uji Statistik
Team A → Z-Test Karena σ populasi diketahui.
Team B → t-Test Karena σ populasi tidak diketahui dan digantikan oleh s sampel.
4.1.2 Confidence Interval (90%, 95%, 99%)
| no | Confidence_Level | Lower_Bound | Upper_Bound |
|---|---|---|---|
| 1 Team A (Z-Test) | 90% | 203.42 | 216.58 |
| 2 Team A (Z-Test) | 95% | 202.16 | 217.84 |
| 3 Team A (Z-Test) | 99% | 199.70 | 220.30 |
| 4 Team B (t-Test) | 90% | 203.24 | 216.76 |
| 5 Team B (t-Test) | 95% | 201.88 | 218.12 |
| 6 Team B (t-Test) | 99% | 199.10 | 220.90 |
Untuk Team A (Z-Test):
90% CI: 203.42 – 216.58 ms
95% CI: 202.16 – 217.84 ms
99% CI: 199.70 – 220.30 ms
Untuk Team B (t-Test):
Interval mirip Team A, tapi sedikit lebih lebar pada CI tinggi, misal 99% CI = 199.10 – 220.90 ms, karena t-Test memperhitungkan ketidakpastian σ sampel.
Insight Statistik
Lebar CI meningkat seiring naiknya confidence level → wajar, semakin yakin kita ingin mencakup rata-rata, semakin lebar intervalnya.
Perbandingan Z-Test vs t-Test:
Z-Test (Team A) lebih sempit karena σ diketahui.
t-Test (Team B) lebih lebar → lebih konservatif.
Kedua tim punya estimasi rata-rata latency yang hampir sama, dan semua CI mencakup mean = 210 ms, menunjukkan estimasi cukup akurat.
4.1.3 Visualisasi
Garis horizontal mewakili CI, semakin panjang untuk CI lebih tinggi (visualisasi keyakinan lebih tinggi).
Warna berbeda memudahkan membedakan level confidence (90%, 95%, 99%).
Garis vertikal putus-putus menandai mean 210 ms → membantu melihat CI mana mencakup rata-rata.
Secara visual, terlihat jelas perbedaan Z-Test vs t-Test: t-Test sedikit lebih lebar pada CI tinggi.
4.1.4 Interpretasi Lebar Interval Berbeda
Meskipun ukuran sampel dan rata-rata kedua tim sama, CI dari t-Test (Team B) sedikit lebih lebar dibandingkan Z-Test (Team A). Hal ini karena t-Test memperhitungkan ketidakpastian tambahan akibat simpangan baku populasi yang tidak diketahui. Distribusi t memiliki ekor lebih tebal, sehingga menghasilkan interval yang lebih konservatif, terutama pada tingkat confidence tinggi.
5 Case Study 5
One-Sided Confidence Interval: A Software as a Service (SaaS) company wants to ensure that at least 70% of weekly active users utilize a premium feature.
From the experiment:
\[ \begin{eqnarray*} n &=& 250 \quad \text{(total users)} \\ x &=& 185 \quad \text{(active premium users)} \end{eqnarray*} \]
Management is only interested in the lower bound of the estimate.
Tasks:
- Identify the type of Confidence Interval and the appropriate test.
- Compute the one-sided lower Confidence Interval at:
- \(90\%\)
- \(95\%\)
- \(99\%\)
- Visualize the lower bounds for all confidence levels.
- Determine whether the 70% target is statistically satisfied.
5.1 Answer to Case Study 5
5.1.1 Jenis CI dan Uji
Data berupa proporsi (x/n) → gunakan proportion confidence interval
Karena fokus pada batas bawah → gunakan one-sided CI
Uji yang tepat: Z-test untuk proporsi (n cukup besar, np > 5, n(1-p) > 5)
5.1.2 Perhitungan
Rumus lower bound (one-sided z-CI):
\(\hat{p} = \frac{x}{n}\)
\(\text{Lower Bound}=\hat{p}-z_{\alpha}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\)
\(\hat{p} = {x}/{n}\)
\(z_{\alpha} = qnorm\)(confidence level) untuk one-sided
\(z_{0.90} = 1.282,\quad\) \(z_{0.95} = 1.645,\quad\) \(z_{0.99} = 2.326\)
5.1.3 Visualisasi
Line chart menunjukkan bahwa nilai lower bound one-sided confidence interval menurun seiring meningkatnya confidence level. Hal ini mencerminkan sifat interval kepercayaan yang semakin konservatif pada tingkat keyakinan lebih tinggi. Garis horizontal 70% merepresentasikan target minimum penggunaan fitur premium. Secara visual, target 70% terpenuhi pada 90% dan 95% confidence level, namun tidak terpenuhi pada 99% confidence level.
5.1.4 Interpretasi
Berdasarkan one-sided confidence interval untuk proporsi pengguna premium, nilai batas bawah estimasi menurun seiring meningkatnya tingkat kepercayaan, menunjukkan pendekatan yang semakin konservatif. Pada tingkat kepercayaan 90% dan 95%, batas bawah confidence interval masih berada di atas target 70%, sehingga target penggunaan fitur premium terpenuhi secara statistik. Namun, pada tingkat kepercayaan 99%, batas bawah berada sedikit di bawah target, sehingga tidak terdapat bukti statistik yang cukup kuat untuk menyatakan bahwa minimal 70% pengguna aktif menggunakan fitur premium pada tingkat keyakinan yang sangat tinggi.