1.1.1 Uji Statistik yang Digunakan

Uji statistik yang tepat adalah Confidence Interval untuk Mean dengan Z-distribution.

Alasan:

1. Simpangan baku populasi (σ) diketahui.
2. Ukuran sampel besar (n = 100 ≥ 30).
3. Tujuan analisis adalah mengestimasi rata-rata populasi, bukan menguji hipotesis.

1.1.2 Perhitungan

Diketahui

\(\bar{x} = 12.6\)

\(\sigma = 3.2\)

\(n = 100\)

Karena simpangan baku populasi (σ) diketahui, maka kita gunakan Z-Confidence Interval.

\[ CI = \bar{x} \pm z_{\alpha/2}\left(\frac{\sigma}{\sqrt{n}}\right) \] \[ \frac{\sigma}{\sqrt{n}}=\frac{3.2}{\sqrt{100}}=0.32 \]

Confidence Level 90%

• \(z = 1.645\)

\[MoE = 1.645 \times 0.32 = 0.5264\] \[CI_{90\%} = (12.07, 13.13)\]

Confidence Level 95%

• \(z = 1.96\)

\[MoE = 1.96 \times 0.32 = 0.6272\] \[CI_{95\%} = (11.97, 13.23)\]

Confidence Level 98%

• \(z = 1.645\)

\[MoE = 1.645 \times 0.32 = 0.8243\] \[CI_{99\%} = (11.78, 13.42)\]

1.1.3 Visualisasi Perbandingan

Visualisasi ini menunjukkan perbandingan interval kepercayaan (confidence intervals) untuk rata-rata transaksi harian per pengguna pada tiga tingkat kepercayaan yang berbeda: 90%, 95%, dan 99%.

Komponen visualisasi:

• Titik biru: Menunjukkan rata-rata transaksi harian dari sampel, yaitu 12.6 transaksi per pengguna.

• Garis merah vertikal (error bar): Menunjukkan rentang interval kepercayaan untuk masing-masing tingkat kepercayaan.

• Bagian bawah garis adalah batas bawah interval.

• Bagian atas garis adalah batas atas interval.

• Sumbu X (Confidence): Menunjukkan tingkat kepercayaan (90%, 95%, dan 99%).

• Sumbu Y: Menunjukkan jumlah transaksi harian.

1.1.4 Interpretasi Hasil Confidence Interval dalam Konteks Bisnis

• CI 90% memberikan estimasi rata-rata transaksi dengan rentang paling sempit, namun memiliki risiko lebih besar karena tingkat keyakinannya lebih rendah.

• CI 95% merupakan tingkat kepercayaan yang umum digunakan karena mampu menyeimbangkan antara ketepatan estimasi dan tingkat keyakinan.

• CI 99% bersifat paling konservatif dengan tingkat keyakinan tertinggi, tetapi menghasilkan rentang estimasi yang lebih lebar sehingga kurang presisi.

Dalam konteks bisnis:

• Selang kepercayaan membantu manajemen menilai tingkat ketidakpastian dalam estimasi rata-rata transaksi harian setelah peluncuran fitur baru.

• Jika seluruh rentang CI berada di atas rata-rata transaksi sebelumnya, maka fitur baru berpotensi meningkatkan aktivitas transaksi.

• Sebaliknya, apabila CI masih mencakup nilai rata-rata lama atau lebih rendah, maka fitur perlu dievaluasi lebih lanjut.

• Interval yang lebih sempit, misalnya dengan menambah ukuran sampel, akan meningkatkan akurasi estimasi dan mendukung pengambilan keputusan yang lebih tepat.

2.1.1 Uji yang digunakan:

Uji yang digunakan adalah One-Sample t Confidence Interval

Alasan:

• Simpangan baku populasi (σ) tidak diketahui

• Ukuran sampel kecil (n = 12)

• Data diasumsikan berasal dari populasi berdistribusi normal

Oleh karena itu, distribusi t-Student adalah pilihan yang tepat untuk membentuk selang kepercayaan rata-rata populasi.

2.1.2 Perhitungan

Statistik Sampel

• Sample mean (x̄) ≈ 8.46

• Sample standard deviation (s) ≈ 0.41

• Sample size (n) = 12

• Standard error (SE) ≈ 0.12

Confidence Interval

• 90% CI ≈ (8.25 , 8.67)

• 95% CI ≈ (8.20 , 8.72)

• 99% CI ≈ (8.08 , 8.84)

Semakin tinggi confidence level → interval makin lebar

2.1.3 Visualisasi

Visualisasi menunjukkan perbandingan selang kepercayaan 90%, 95%, dan 99% terhadap rata-rata waktu penyelesaian tugas pengguna aplikasi. Kurva berbentuk lonceng merepresentasikan distribusi t-Student, yang digunakan karena simpangan baku populasi tidak diketahui dan ukuran sampel relatif kecil. Garis vertikal putus-putus di tengah kurva menunjukkan rata-rata sampel sebagai pusat dari setiap selang kepercayaan.

Area berwarna di bawah kurva menggambarkan rentang confidence interval, di mana interval 90% tampak paling sempit, interval 95% lebih lebar, dan interval 99% merupakan yang terluas.

2.1.4 Interpretasi

Berdasarkan selang kepercayaan yang diperoleh, rata-rata waktu penyelesaian tugas pengguna diperkirakan berada di sekitar nilai rata-rata sampel dengan tingkat keyakinan yang berbeda. Interval dengan tingkat kepercayaan lebih rendah menghasilkan estimasi yang lebih presisi, sedangkan tingkat kepercayaan yang lebih tinggi memberikan jaminan keyakinan yang lebih besar dengan konsekuensi rentang estimasi yang lebih luas.

Kondisi ini mencerminkan adanya trade-off antara ketepatan estimasi dan tingkat keyakinan. Selain itu, jumlah observasi yang terbatas menyebabkan ketidakpastian estimasi masih relatif besar, sehingga peningkatan ukuran sampel pada penelitian selanjutnya dapat menghasilkan selang kepercayaan yang lebih sempit dan estimasi yang lebih akurat.

3.1.1 Hitung Propotion Sample

Proporsi sampel dihitung sebagai jumlah pengguna yang mengklik dibagi total pengguna.

\(\hat{p} = \frac{x}{n} = \frac{156}{4000} = 0.39\)

Artinya, sekitar 39% pengguna mengklik CTA.

3.1.2 Confidence Interval untuk Proporsi

Karena yang dianalisis adalah proporsi, maka digunakan Confidence Interval proporsi (z-interval).

Hasil Confidence Interval

• CI 90% : (0.350 , 0.430)

• CI 95% : (0.342 , 0.438)

• CI 99% : (0.327 , 0.453)

Semakin tinggi tingkat kepercayaan, semakin lebar selang kepercayaan.

3.1.3 Visualisasi

Interpretasi Visualisasi

Visualisasi menunjukkan perbandingan selang kepercayaan 90%, 95%, dan 99% untuk proporsi klik CTA. Garis vertikal putus-putus merepresentasikan proporsi sampel sebagai pusat estimasi. Terlihat bahwa semakin tinggi tingkat confidence, semakin lebar selang kepercayaan, yang mencerminkan peningkatan tingkat kehati-hatian dalam menyimpulkan hasil A/B testing.

3.1.4 Pengaruh Confidence Level terhadap Pengambilan Keputusan Produk

Pemilihan confidence level memengaruhi cara tim produk menafsirkan hasil eksperimen A/B testing. Tingkat kepercayaan yang lebih rendah menghasilkan rentang estimasi yang lebih fokus, namun meningkatkan kemungkinan kesimpulan meleset dari kondisi sebenarnya. Sebaliknya, tingkat kepercayaan yang lebih tinggi memperluas rentang estimasi sehingga hasil analisis menjadi lebih aman, tetapi kurang spesifik.

Dalam praktik pengembangan produk, confidence level yang digunakan mencerminkan tingkat toleransi risiko dalam pengambilan keputusan. Semakin besar dampak keputusan yang diambil, semakin tinggi tingkat keyakinan yang biasanya dibutuhkan sebelum menyatakan bahwa desain CTA baru memberikan peningkatan kinerja yang signifikan.

4.1.1 Uji Statistik

Team A → Z-Test Karena σ populasi diketahui.

Team B → t-Test Karena σ populasi tidak diketahui dan digantikan oleh s sampel.

4.1.2 Confidence Interval (90%, 95%, 99%)

Untuk Team A (Z-Test):

• 90% CI: 203.42 – 216.58 ms

• 95% CI: 202.16 – 217.84 ms

• 99% CI: 199.70 – 220.30 ms

Untuk Team B (t-Test):

Interval mirip Team A, tapi sedikit lebih lebar pada CI tinggi, misal 99% CI = 199.10 – 220.90 ms, karena t-Test memperhitungkan ketidakpastian σ sampel.

Insight Statistik

Lebar CI meningkat seiring naiknya confidence level → wajar, semakin yakin kita ingin mencakup rata-rata, semakin lebar intervalnya.

Perbandingan Z-Test vs t-Test:

• Z-Test (Team A) lebih sempit karena σ diketahui.

• t-Test (Team B) lebih lebar → lebih konservatif.

Kedua tim punya estimasi rata-rata latency yang hampir sama, dan semua CI mencakup mean = 210 ms, menunjukkan estimasi cukup akurat.

4.1.3 Visualisasi

• Garis horizontal mewakili CI, semakin panjang untuk CI lebih tinggi (visualisasi keyakinan lebih tinggi).

• Warna berbeda memudahkan membedakan level confidence (90%, 95%, 99%).

• Garis vertikal putus-putus menandai mean 210 ms → membantu melihat CI mana mencakup rata-rata.

Secara visual, terlihat jelas perbedaan Z-Test vs t-Test: t-Test sedikit lebih lebar pada CI tinggi.

4.1.4 Interpretasi Lebar Interval Berbeda

Meskipun ukuran sampel dan rata-rata kedua tim sama, CI dari t-Test (Team B) sedikit lebih lebar dibandingkan Z-Test (Team A). Hal ini karena t-Test memperhitungkan ketidakpastian tambahan akibat simpangan baku populasi yang tidak diketahui. Distribusi t memiliki ekor lebih tebal, sehingga menghasilkan interval yang lebih konservatif, terutama pada tingkat confidence tinggi.

5.1.1 Jenis CI dan Uji

• Data berupa proporsi (x/n) → gunakan proportion confidence interval

• Karena fokus pada batas bawah → gunakan one-sided CI

• Uji yang tepat: Z-test untuk proporsi (n cukup besar, np > 5, n(1-p) > 5)

5.1.2 Perhitungan

Rumus lower bound (one-sided z-CI):

\(\hat{p} = \frac{x}{n}\)

\(\text{Lower Bound}=\hat{p}-z_{\alpha}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\)

\(\hat{p} = {x}/{n}\)

\(z_{\alpha} = qnorm\)(confidence level) untuk one-sided

\(z_{0.90} = 1.282,\quad\) \(z_{0.95} = 1.645,\quad\) \(z_{0.99} = 2.326\)

5.1.3 Visualisasi

Line chart menunjukkan bahwa nilai lower bound one-sided confidence interval menurun seiring meningkatnya confidence level. Hal ini mencerminkan sifat interval kepercayaan yang semakin konservatif pada tingkat keyakinan lebih tinggi. Garis horizontal 70% merepresentasikan target minimum penggunaan fitur premium. Secara visual, target 70% terpenuhi pada 90% dan 95% confidence level, namun tidak terpenuhi pada 99% confidence level.

5.1.4 Interpretasi

Berdasarkan one-sided confidence interval untuk proporsi pengguna premium, nilai batas bawah estimasi menurun seiring meningkatnya tingkat kepercayaan, menunjukkan pendekatan yang semakin konservatif. Pada tingkat kepercayaan 90% dan 95%, batas bawah confidence interval masih berada di atas target 70%, sehingga target penggunaan fitur premium terpenuhi secara statistik. Namun, pada tingkat kepercayaan 99%, batas bawah berada sedikit di bawah target, sehingga tidak terdapat bukti statistik yang cukup kuat untuk menyatakan bahwa minimal 70% pengguna aktif menggunakan fitur premium pada tingkat keyakinan yang sangat tinggi.