Hipotesis Nol (H₀) adalah pernyataan status quo atau klaim yang akan diuji. Hipotesis Alternatif (H₁) adalah pernyataan yang ingin dibuktikan, yaitu adanya efek atau perbedaan.

H₀: Rata-rata waktu belajar harian pengguna sama dengan 120 menit. \[ H_0: \mu = 120 \]

H₁: Rata-rata waktu belajar harian pengguna tidak sama dengan 120 menit (uji dua arah). \[ H_1: \mu \neq 120 \]

a. Hitung Nilai Statistik Uji (Z)

Rumus statistik uji Z untuk satu sampel adalah:

\[ Z = \frac{\bar{x} - \mu_0}{\sigma / \sqrt{n}} \]

Diketahui:

• \(\bar{x} = 116\) (rata-rata sampel)
• \(\mu_0 = 120\) (nilai klaim populasi)
• \(\sigma = 15\) (simpangan baku populasi)
• \(n = 64\) (ukuran sampel)

Langkah perhitungan:

1. Hitung galat baku (standard error): \[ \text{Standard Error (SE)} = \frac{\sigma}{\sqrt{n}} = \frac{15}{\sqrt{64}} = \frac{15}{8} = 1.875 \]
2. Hitung nilai Z: \[ Z = \frac{116 - 120}{1.875} = \frac{-4}{1.875} \approx -2.133 \] Nilai statistik uji adalah \(Z \approx -2.133\)

b. Hitung p-value

Karena pengujian bersifat dua arah \(H_1: \mu \neq 120\), p-value adalah probabilitas mendapatkan nilai Z yang setidaknya se-ekstrem \(-2.133\) di kedua ujung distribusi normal.

1. Cari luas area di sebelah kiri \(Z = -2.133\) pada tabel distribusi normal standar. Nilainya adalah \(P(Z < -2.133) \approx 0.0164\)

2. Untuk uji dua arah, kalikan luas satu ekor tersebut dengan 2:

   \[ p\text{-value} = 2 \times P(Z < -2.133) \approx 2 \times 0.0164 = 0.0328 \]

   Nilai p-value adalah 0.0328.

Interpretasi & Implikasi Bisnis:

1. Validasi Klaim Gagal: Tim bisnis harus merevisi atau menghentikan klaim “rata-rata waktu belajar 120 menit” dalam materi pemasaran, karena data aktual tidak mendukungnya. Menggunakan klaim yang tidak akurat dapat merusak kredibilitas.

2. Analisis Penyebab: Perlu diselidiki mengapa waktu belajar aktual lebih rendah:
   • Konten: Apakah materi belajar terlalu sulit, mudah, atau tidak menarik?
   • Pengguna: Apakah ada influx pengguna baru yang belum terbiasa?
   • Platform: Apakah ada masalah teknis atau desain pengalaman pengguna (UX) yang kurang mendukung sesi belajar yang lama?
   • Kompetisi: Apakah pengguna teralihkan ke platform lain?

3. Manajemen Risiko: Keputusan menolak H₀ membawa risiko Kesalahan Tipe I sebesar 5%. Artinya, ada kemungkinan 5% bahwa sebenarnya klaim platform benar (μ=120), tetapi sampel kita kebetulan menunjukkan rata-rata yang rendah. Risiko ini sudah diterima dan ditetapkan sejak awal melalui α = 0.05.

4. Rekomendasi Tindak Lanjut:
   • Lakukan penelitian lebih mendalam (misalnya survei kepuasan, analisis segmen pengguna) untuk memahami penyebab turunnya waktu belajar.
   • Uji coba (A/B testing) perubahan pada fitur atau konten untuk melihat dampaknya terhadap durasi belajar.
   • Monitor metrik ini secara berkala untuk melihat tren setelah intervensi dilakukan.

a. Hitung Statistik Deskriptif dari Data Sampel:

Data: 9.2, 10.5, 9.8, 10.1, 9.6, 10.3, 9.9, 9.7, 10.0, 9.5

• Rata-rata Sampel \(\bar{x}\):

  \[ \bar{x} = \frac{\sum x_i}{n} = \frac{9.2+10.5+9.8+10.1+9.6+10.3+9.9+9.7+10.0+9.5}{10} = \frac{98.6}{10} = 9.86 \]

• Simpangan Baku Sampel (s):

  \[ s = \sqrt{\frac{\sum (x_i - \bar{x})^2}{n-1}} \] \[ \begin{aligned} \sum (x_i - \bar{x})^2 = & (9.2-9.86)^2 + (10.5-9.86)^2 + (9.8-9.86)^2 + (10.1-9.86)^2 + \\ & (9.6-9.86)^2 + (10.3-9.86)^2 + (9.9-9.86)^2 + (9.7-9.86)^2 + \\ & (10.0-9.86)^2 + (9.5-9.86)^2 \\ = & (0.4356) + (0.4096) + (0.0036) + (0.0576) + (0.0676) + (0.1936) + (0.0016) + (0.0256) + (0.0196) + (0.1296) \\ = & 1.344 \end{aligned} \] \[ s = \sqrt{\frac{1.344}{9}} = \sqrt{0.149333} \approx 0.3864 \]

b. Hitung Nilai t-statistik: Rumus statistik uji-t untuk satu sampel adalah:

\[ t = \frac{\bar{x} - \mu_0}{s / \sqrt{n}} \]

• \(\bar{x} = 9.86\)
• \(\mu_0 = 10\)
• \(s \approx 0.3864\)
• \(n = 10\)

1. Hitung Galat Baku (Standard Error): \[ SE = \frac{s}{\sqrt{n}} = \frac{0.3864}{\sqrt{10}} \approx \frac{0.3864}{3.1623} \approx 0.1222 \]

2. Hitung nilai t: \[ t = \frac{9.86 - 10}{0.1222} \approx \frac{-0.14}{0.1222} \approx -1.146 \] Nilai t-statistik adalah \(t \approx -1.146\)

c. Hitung p-value:

• Derajat Kebebasan (df): \[ df = n - 1 = 10 - 1 = 9 \]

• Karena uji dua arah, p-value dihitung sebagai: \[ p\text{-value} = 2 \times P(T_{df=9} \leq -1.146) \]

• Menggunakan tabel distribusi-t atau kalkulator statistik, luas area satu ekor untuk \(t = 1.146\) dengan \(df = 9\) adalah sekitar 0.141 (nilai tepat bergantung pada interpolasi tabel atau kalkulator). Oleh karena itu: \[ p\text{-value} \approx 2 \times 0.141 = 0.282 \]

Ukuran sampel (n) adalah faktor kritis yang secara langsung mempengaruhi keandalan inferensi statistik dalam dua cara utama:

1. Mempengaruhi Galat Baku (Standard Error - SE):

• Galat baku adalah ukuran variabilitas atau ketidakpastian dari estimasi rata-rata sampel \(\bar{x}\) Rumusnya adalah \(SE = \frac{s}{\sqrt{n}}\)

• Hubungannya berbanding terbalik dengan akar kuadrat n. Artinya, semakin besar ukuran sampel (n), semakin kecil galat bakunya. Galat baku yang lebih kecil berarti estimasi \(\bar{x}\) kita terhadap parameter populasi μ lebih presisi dan stabil. Sebaliknya, sampel kecil (seperti n=10) menghasilkan galat baku yang relatif besar, sehingga estimasi kita lebih rentan terhadap fluktuasi acak.

2. Mempengaruhi Kekuatan Uji (Power of the Test):

• Kekuatan uji adalah probabilitas untuk menolak H₀ ketika H₀ salah (1 - β). Ini adalah kemampuan kita untuk mendeteksi efek yang benar-benar ada.

• Sampel yang kecil memiliki kekuatan uji yang rendah. Dalam kasus ini, meskipun rata-rata sampel (9.86) berbeda dari 10, perbedaan tersebut tidak signifikan secara statistik. Sangat mungkin bahwa perbedaan yang sesungguhnya (efek) memang ada di populasi, tetapi ukuran sampel yang kecil (hanya 10 observasi) tidak memiliki “kekuatan” yang cukup untuk mendeteksinya. Variabilitas alami dalam data kecil dapat dengan mudah menutupi sinyal (efek) yang sebenarnya.

• Dengan kata lain, kegagalan menolak H₀ pada sampel kecil bukanlah bukti kuat bahwa H₀ benar, tetapi lebih karena data yang terbatas tidak memberikan bukti yang cukup untuk menyimpulkan sebaliknya.

Kesimpulan: Studi dengan sampel kecil seperti ini (n=10) harus diinterpretasi dengan sangat hati-hati. Hasil “gagal tolak H₀” lebih mencerminkan ketidakmampuan statistik untuk menarik kesimpulan yang tegas daripada bukti yang mendukung tidak adanya perbedaan. Untuk inferensi yang lebih andal, diperlukan pengumpulan data lebih banyak untuk meningkatkan ukuran sampel.

Rumusan Hipotesis

Hipotesis dirumuskan untuk menguji apakah terdapat perbedaan rata-rata durasi sesi yang signifikan antara dua versi halaman.

• H₀ (Hipotesis Nol): Tidak ada perbedaan rata-rata durasi sesi antara Halaman Landing Versi A dan Versi B.

\[ H_0: \mu_A = \mu_B \quad \text{atau} \quad H_0: \mu_A - \mu_B = 0 \]

• H₁ (Hipotesis Alternatif): Terdapat perbedaan rata-rata durasi sesi antara Halaman Landing Versi A dan Versi B. (Uji Dua Arah)

\[ H_1: \mu_A \neq \mu_B \quad \text{atau} \quad H_1: \mu_A - \mu_B \neq 0 \]

a. Identifikasi Data:

• Versi A: \(n_A = 25\) \(\bar{x}_A = 4.8\) \(s_A = 1.2\)
• Versi B: \(n_B = 25\) \(\bar{x}_B = 5.4\) \(s_B = 1.4\)

b. Uji Asumsi Homogenitas Varians (Uji Levene’s atau F-test sederhana): Sebelum menghitung t-statistik, perlu diasumsikan apakah varians kedua kelompok sama (homogen) atau tidak. Kami akan melakukan uji cepat dengan membandingkan rasio varians.

\[ \frac{s_B^2}{s_A^2} = \frac{(1.4)^2}{(1.2)^2} = \frac{1.96}{1.44} \approx 1.36 \]

Karena rasio varians (1.36) kurang dari batas umum 4, dapat diasumsikan varians kedua kelompok relatif homogen. Oleh karena itu, kita akan menggunakan rumus Pooled Variance t-test.

c. Hitung Varians Gabungan (Pooled Variance) :

\[ s_p^2 = \frac{(n_A - 1)s_A^2 + (n_B - 1)s_B^2}{n_A + n_B - 2} \] \[ s_p^2 = \frac{(25-1)(1.2)^2 + (25-1)(1.4)^2}{25 + 25 - 2} = \frac{(24 \times 1.44) + (24 \times 1.96)}{48} \] \[ s_p^2 = \frac{34.56 + 47.04}{48} = \frac{81.6}{48} = 1.7 \]

d. Hitung Galat Baku (Standard Error - SE):

\[ SE = \sqrt{s_p^2 \left( \frac{1}{n_A} + \frac{1}{n_B} \right)} = \sqrt{1.7 \left( \frac{1}{25} + \frac{1}{25} \right)} = \sqrt{1.7 \left( \frac{2}{25} \right)} \] \[ SE = \sqrt{1.7 \times 0.08} = \sqrt{0.136} \approx 0.3688 \]

e. Hitung Nilai t-statistik:

\[ t = \frac{\bar{x}_A - \bar{x}_B}{SE} = \frac{4.8 - 5.4}{0.3688} = \frac{-0.6}{0.3688} \approx -1.627 \]

Nilai t-statistik adalah \(t \approx -1.627\)

f. Hitung p-value:

• Derajat Kebebasan (df): \(df = n_A + n_B - 2 = 25 + 25 - 2 = 48\)

• Karena uji dua arah, p-value adalah: \[ p\text{-value} = 2 \times P(T_{df=48} \leq -1.627) \] Dari tabel distribusi-t atau kalkulator, nilai p-value untuk \(t = 1.627\) dengan \(df = 48\) adalah sekitar 0.110. \[ p\text{-value} \approx 2 \times 0.110 = 0.220 \]

1. Intepretasi Statistik ke Bisnis: Berdasarkan data sampel yang dikumpulkan, tidak terdapat bukti statistik yang cukup untuk menyimpulkan bahwa terdapat perbedaan rata-rata durasi sesi yang signifikan antara Halaman Landing Versi A (4.8 menit) dan Versi B (5.4 menit). Perbedaan 0.6 menit yang diamati kemungkinan besar disebabkan oleh variasi acak dalam sampel, bukan oleh efek desain halaman yang berbeda.

2. Rekomendasi Aksi Produk:

• Jangan Terburu-buru Mengadopsi Versi B: Meskipun Versi B menunjukkan rata-rata yang lebih tinggi, perbedaannya tidak signifikan. Mengganti ke Versi B berdasarkan hasil ini berisiko karena peningkatan yang terlihat mungkin tidak nyata.
• Perlu Data Lebih Banyak atau Uji Ulang: Kegagalan mendeteksi perbedaan (Gagal Tolak H₀) pada A/B Testing sering kali disebabkan oleh ukuran sampel yang terlalu kecil atau efek perlakuan (treatment effect) yang terlalu lemah. Tim produk dapat mempertimbangkan untuk: a. Memperbesar Ukuran Sampel: Menjalankan eksperimen lebih lama untuk mengumpulkan data lebih banyak dari setiap versi. Ini akan mengurangi galat baku dan meningkatkan kekuatan uji (power), sehingga perbedaan yang kecil namun konsisten dapat terdeteksi. b. Mendesain Perubahan yang Lebih Drastis: Jika peningkatan durasi sesi adalah tujuan kritis, tim UX mungkin perlu merancang perubahan yang lebih substansial pada halaman landing untuk menciptakan efek yang lebih kuat dan lebih mudah terdeteksi.

3. Pertimbangan Risiko: Keputusan “gagal tolak H₀” membawa risiko Kesalahan Tipe II (β), yaitu kesimpulan bahwa tidak ada perbedaan padahal sebenarnya ada. Risiko ini cukup tinggi dalam pengujian dengan sampel kecil. Oleh karena itu, keputusan untuk “tidak melakukan apa-apa” (tetap pakai Versi A) harus disertai dengan kesadaran bahwa mungkin ada peluang terlewat untuk peningkatan.

a. Tabel Data yang Diamati (Observed - O):

Kesimpulan Statistik: Terbukti ada hubungan yang signifikan antara jenis perangkat dengan metode pembayaran yang dipilih.

Strategi dan Rekomendasi Bisnis:

1. Target Promosi Berdasarkan Perangkat:

• Pengguna HP (Mobile): Mereka sangat condong ke E-Wallet. Strategi: Fokus promosi cashback/discount untuk E-Wallet di aplikasi mobile. Tombol E-Wallet harus sangat menonjol.
• Pengguna Komputer (Desktop): Mereka lebih banyak pilih Kartu Kredit dibanding pengguna HP. Strategi: Di versi desktop, tawarkan promo cicilan 0% atau points untuk kartu kredit.

2. Optimasi Pengalaman Bayar (User Experience):

• Di HP: Urutan metode bayar yang ditampilkan harus: E-Wallet paling atas, lalu Kartu Kredit, baru Bayar di Tempat.
• Di Komputer: Urutan bisa diubah: Kartu Kredit paling atas, lalu E-Wallet, baru Bayar di Tempat.

3. Pengembangan Fitur: Temuan ini mendukung strategi untuk berinvestasi lebih besar di pengembangan fitur pembayaran digital di aplikasi mobile, karena itu adalah pilihan utama pengguna HP.

Kesalahan Tipe I terjadi jika kita menolak H₀ padahal H₀ benar. Dalam konteks ini, hal itu berarti menyimpulkan bahwa algoritma baru dapat mengurangi penipuan, padahal kenyataannya algoritma tersebut tidak lebih efektif dari sistem lama.

Konsekuensi: Startup akan mengadopsi algoritma yang tidak efektif, mengeluarkan biaya implementasi (pengembangan, integrasi, pelatihan), namun tidak mendapatkan manfaat pengurangan penipuan. Ini adalah “false positive” atau alarm palsu.

Kesalahan Tipe II terjadi jika kita gagal menolak H₀ padahal H₁ benar. Dalam konteks ini, hal itu berarti menyimpulkan bahwa algoritma baru tidak mengurangi penipuan, padahal kenyataannya algoritma tersebut efektif untuk mengurangi penipuan.

Konsekuensi: Startup akan menolak atau tidak mengimplementasikan algoritma yang sebenarnya berguna. Mereka kehilangan peluang untuk mengurangi kerugian finansial akibat penipuan. Ini adalah “false negative” atau sinyal yang terlewat.

Ukuran sampel (n) berbanding terbalik dengan risiko Kesalahan Tipe II (β). Artinya:

• Jika ukuran sampel diperbesar, maka Kesalahan Tipe II (β) akan mengecil.

• Jika ukuran sampel diperkecil, maka Kesalahan Tipe II (β) akan membesar.

Penjelasan: Sampel yang lebih besar memberikan informasi yang lebih representatif tentang populasi, sehingga meningkatkan kemampuan statistik untuk mendeteksi efek yang ada (dalam hal ini, efektivitas algoritma). Dengan sampel kecil, uji statistik memiliki kekuatan (power) yang rendah, sehingga besar kemungkinan gagal mendeteksi perbedaan atau efek yang sebenarnya signifikan.

Ketiganya memiliki hubungan yang saling terkait, sering digambarkan sebagai timbangan:

1. Power Statistik didefinisikan sebagai probabilitas untuk menolak H₀ ketika H₀ salah, atau 1 - β.

2. Hubungan Timbal Balik α dan β: Dengan asumsi faktor lain (seperti ukuran sampel dan efek) tetap, jika kita menurunkan α (misal dari 0.05 ke 0.01 agar lebih ketat menolak H₀), maka β akan meningkat (risiko Kesalahan Tipe II lebih besar). Sebaliknya, jika kita menaikkan α, maka β akan menurun.

3. Pengaruh pada Power: Karena Power = 1 - β, maka:

• Menaikkan α → menurunkan β → meningkatkan Power.
• Menurunkan α → meningkatkan β → menurunkan Power.
• Meningkatkan ukuran sampel → menurunkan β → meningkatkan Power, tanpa perlu mengubah α.

Jika sampel data yang digunakan untuk evaluasi model tidak mewakili keseluruhan populasi pelanggan, maka kesimpulan statistik menjadi tidak valid dan berisiko tinggi untuk diterapkan. Risiko utamanya:

1. Kesimpulan yang Menyesatkan: Model mungkin tampak akurat untuk kelompok tertentu dalam sampel (misal, pelanggan segmen A), tetapi performanya sangat buruk untuk kelompok lain yang tidak terwakili dalam sampel (misal, pelanggan segmen B atau wilayah baru).

2. Keputusan Bisnis yang Salah: Berdasarkan kesimpulan yang menyesatkan, perusahaan mungkin mengandalkan model ini untuk mengambil tindakan pencegahan churn. Akibatnya, strategi bisa salah sasaran, mengalokasikan sumber daya (seperti diskon atau layanan khusus) ke pelanggan yang sebenarnya tidak berisiko churn, sementara mengabaikan pelanggan yang benar-benar berisiko.

P-value hanya menjawab pertanyaan “Apakah ada efek?” dengan mengukur kekuatan bukti statistik melawan H₀. Namun, p-value tidak menjawab pertanyaan “Seberapa besar efeknya?”.

Contoh konkret dalam kasus ini:

• Hasil signifikan (p-value = 0,021) hanya memberitahu bahwa model prediksi churn berkinerja lebih baik daripada tebakan acak.

• Namun, p-value tidak memberitahu seberapa besar peningkatan akurasinya. Apakah akurasi model meningkat 1%, 10%, atau 50%? P-value tidak memberikan informasi ini.

• Dua model bisa memiliki p-value signifikan yang sama, tetapi satu model mungkin hanya sedikit lebih akurat (efek kecil), sementara model lain jauh lebih akurat (efek besar). Oleh karena itu, untuk memahami implikasi praktis, kita harus melengkapi p-value dengan ukuran effect size (misal, koefisien regresi, selisih rata-rata yang terstandarisasi, atau peningkatan akurasi) yang mengkuantifikasi besarnya hubungan atau perbedaan.