Platform pembelajaran digital mengklaim bahwa rata-rata waktu belajar harian penggunanya adalah 120 menit. Nilai ini digunakan sebagai nilai acuan (baseline) dalam pengujian hipotesis statistik, dan dirumuskan sebagai berikut:

• Hipotesis Nol (H₀):
  Rata-rata waktu belajar harian pengguna sama dengan 120 menit.
  \[ H_0: \mu = 120 \] Hipotesis nol digunakan sebagai asumsi awal dan menyatakan bahwa tidak terdapat perbedaan antara rata-rata populasi dan nilai klaim.

• Hipotesis Alternatif (H₁):
  Rata-rata waktu belajar harian pengguna tidak sama dengan 120 menit.
  \[ H_1: \mu \neq 120 \] Hipotesis alternatif menyatakan adanya perbedaan antara rata-rata populasi dan nilai klaim, serta digunakan karena arah perbedaan tidak ditentukan dalam soal.

Uji statistik yang digunakan dalam studi kasus ini adalah uji Z satu sampel (One-Sample Z-Test).

• Uji ini dipilih karena tujuan analisis adalah untuk menguji rata-rata populasi berdasarkan satu sampel data (64 pengguna).
  
• Selain itu, simpangan baku populasi diketahui (σ = 15 menit) dan ukuran sampel > 30 (n = 64), sehingga distribusi sampling dari rata-rata dapat diasumsikan mengikuti distribusi normal.

Pengujian dilakukan secara dua arah karena penelitian ini hanya ingin mengetahui apakah rata-rata populasi berbeda dari nilai klaim, tanpa melihat apakah perbedaannya lebih besar atau lebih kecil.

• Statistik Uji Z:
  \[ \begin{aligned} Z &= \frac{\bar{x} - \mu_0}{\frac{\sigma}{\sqrt{n}}} \\ Z &= \frac{116 - 120}{\frac{15}{\sqrt{64}}} = \frac{-4}{\frac{15}{8}} = \frac{-4}{1.875} = -2.13 \end{aligned} \]

• Hitung p-value:
  Nilai p-value dihitung untuk mengetahui probabilitas memperoleh nilai statistik uji yang sama ekstremnya atau lebih ekstrem, dengan asumsi bahwa hipotesis nol benar. Karena pengujian dilakukan dua arah, maka p-value dihitung sebagai dua kali probabilitas di satu sisi distribusi normal standar, dengan rumus: \[\begin{aligned}p\text{ - value} &= 2 \times P(Z \le -|z|)\end{aligned}\]

  Dengan nilai statistik uji Z = −2.13, maka: \[ \begin{aligned} p\text{ - value} &= 2 \times P(Z \le -|z|) \\ &= 2 \times P(Z \le -|-2.13|) \\ &= 2 \times P(Z \le -2.13) \end{aligned} \]

  Berdasarkan tabel distribusi Z atau normal standar, diperoleh: \[ \begin{aligned} P(Z \le -2.13) &= 0.0166 \end{aligned} \]

  Sehingga: \[ \begin{aligned} p\text{ - value} &= 2 \times 0.0166 \\ &= 0.0332 \end{aligned} \]

Berdasarkan hasil perhitungan pada Tugas 3, diperoleh nilai p-value sebesar 0.0332. Nilai ini dibandingkan dengan tingkat signifikansi yang digunakan, yaitu \(\alpha\ = 0.05\).

Karena p-value lebih kecil dari \(\alpha\ (0.0332 < 0.05)\), maka hasil pengujian menunjukkan bahwa rata-rata sampel yang diperoleh memiliki perbedaan yang signifikan secara statistik terhadap nilai rata-rata yang diklaim.

Dengan demikian, pada tingkat signifikansi 5%, hipotesis nol (H₀) ditolak.

Berdasarkan hasil pengujian statistik, diperoleh keputusan untuk menolak hipotesis nol. Hal ini menunjukkan bahwa terdapat bukti yang cukup untuk menyatakan bahwa rata-rata populasi berbeda dari nilai rata-rata yang diklaim.

Dalam konteks analitik bisnis, hasil ini mengindikasikan bahwa klaim rata-rata waktu belajar 120 menit tidak sepenuhnya mencerminkan kondisi aktual pengguna. Oleh karena itu, perusahaan perlu meninjau kembali asumsi tersebut, misalnya untuk menyesuaikan strategi konten, durasi modul pembelajaran, atau evaluasi keterlibatan pengguna berdasarkan data yang lebih akurat.

Tim Riset UX ingin mengevaluasi apakah rata-rata waktu penyelesaian tugas pada aplikasi baru berbeda dari 10 menit sebagai nilai acuan (baseline) berdasarkan standar sebelumnya, sehingga hipotesis statistik dirumuskan sebagai berikut:

• Hipotesis nol (H₀)
  Rata-rata waktu penyelesaian tugas pengguna pada aplikasi baru sama dengan 10 menit. \[ H_0 : \mu = 10 \] Hipotesis nol digunakan sebagai asumsi awal dan menyatakan bahwa tidak terdapat perbedaan antara rata-rata populasi dan nilai acuan.

• Hipotesis alternatif (H₁)
  Rata-rata waktu penyelesaian tugas pengguna pada aplikasi baru tidak sama dengan 10 menit. \[ H_1 : \mu \neq 10 \] Hipotesis alternatif menyatakan bahwa terdapat perbedaan antara rata-rata populasi dan nilai acuan, tanpa menentukan arah perbedaan, sehingga pengujian dilakukan secara dua arah.

Uji statistik yang digunakan dalam studi kasus ini adalah uji t satu sampel (one-sample t-test).

• Uji ini digunakan untuk menguji rata-rata populasi berdasarkan satu sampel data, dengan tujuan membandingkan rata-rata waktu penyelesaian tugas dengan nilai acuan sebesar 10 menit.
• Uji t dipilih karena simpangan baku populasi tidak diketahui dan ukuran sampel relatif kecil (n = 10), sehingga asumsi distribusi normal pada uji Z tidak terpenuhi secara langsung.

Pengujian dilakukan secara dua arah, karena analisis hanya ingin mengetahui apakah rata-rata waktu penyelesaian tugas berbeda dari 10 menit, tanpa menentukan arah perbedaannya.

• Sampel: \(9.2,\; 10.5,\; 9.8,\; 10.1,\; 9.6,\; 10.3,\; 9.9,\; 9.7,\; 10.0,\; 9.5,\)
  

• Rata-rata sampel (\(\bar{x}\)):
  \[ \begin{aligned} \bar{x} &= \frac{1}{n}\sum_{i=1}^{n} x_i \\ &= \frac{9.2 + 10.5 + 9.8 + 10.1 + 9.6 + 10.3 + 9.9 + 9.7 + 10.0 + 9.5}{10} \\ &= \frac{98.6}{10} \\ &= 9.86 \end{aligned} \]

• Simpangan Baku Sampel: \[ \begin{aligned} s &= \sqrt{\frac{\sum_{i=1}^{n} (x_i - \bar{x})^2}{n - 1}} \\ s &= \sqrt{\frac{(9.2 - 9.86)^2 + (10.5 - 9.86)^2 + \cdots + (9.5 - 9.86)^2}{9}} \\ &\approx 0.386 \end{aligned} \]

• Standar Kesalahan: \[ \begin{aligned} SE &= \frac{s}{\sqrt{n}} = \frac{0.386}{\sqrt{10}} \approx 0.122 \end{aligned} \]

• Statistik Uji t:
  \[\bar{x} = 9.86, \quad \mu_0 = 10, \quad SE = 0.122 \] \[ \begin{aligned} t &= \frac{\bar{x} - \mu_0}{SE} \\ &= \frac{9.86 - 10}{0.122} \\ &= \frac{-0.14}{0.122} \\ &\approx -1.147 \end{aligned} \]

• Hitung p-value:
  Rumus p-value untuk uji t dua arah adalah: \[\begin{aligned}p\text{ - value} &= 2 \times P(t \le -|t|)\end{aligned}\]

  Dengan nilai statistik uji t = −1.147, maka: \[ \begin{aligned} p\text{ - value} &= 2 \times P(t \le - |t|) \\ &= 2 \times P(t \le - |-1.147|) \\ &= 2 \times P(t \le - 1.147) \end{aligned} \]

  Berdasarkan tabel distribusi t dengan \(df = 9\), diperoleh: \[ \begin{aligned} P(t \le - 1.147) &= 0.1403 \end{aligned} \]

  Sehingga: \[ \begin{aligned} p\text{ - value} &= 2 \times 0.1403 \\ &= 0.2806 \end{aligned} \]

Berdasarkan hasil perhitungan pada Tugas 3, diperoleh nilai p-value sebesar \(p\text{-value} = 0.2806\).
Nilai tersebut dibandingkan dengan tingkat signifikansi yang digunakan, yaitu \(\alpha = 0.05\).

Karena nilai p-value lebih besar dari \(\alpha\), yaitu \(0.2806 > 0.05\), maka hasil pengujian menunjukkan bahwa tidak terdapat perbedaan yang signifikan secara statistik antara rata-rata sampel dan nilai yang diklaim.

Dengan demikian, pada tingkat signifikansi sebesar 5%, hipotesis nol \((H_0)\) gagal ditolak.

Ukuran sampel merupakan faktor penting dalam inferensi statistik karena memengaruhi ketepatan estimasi dan kekuatan uji statistik. Pada studi kasus ini, ukuran sampel yang digunakan relatif kecil (n = 10). Ukuran sampel yang kecil menyebabkan standar kesalahan menjadi lebih besar dan daya uji statistik menjadi lebih rendah, sehingga kemungkinan terjadinya kesalahan Tipe II meningkat. Akibatnya, perbedaan yang sebenarnya ada di populasi mungkin tidak terdeteksi secara signifikan secara statistik.

Oleh karena itu, hasil inferensi pada studi kasus ini perlu ditafsirkan secara hati-hati. Penggunaan ukuran sampel yang lebih besar akan meningkatkan keandalan estimasi dan kekuatan kesimpulan statistik.

Tujuan dari studi kasus ini adalah membandingkan rata-rata durasi sesi pengguna antara dua versi landing page, yaitu Versi A dan Versi B. Oleh karena itu, hipotesis statistik dirumuskan sebagai berikut.

• Hipotesis Nol (\(H_0\))
  Tidak terdapat perbedaan rata-rata durasi sesi pengguna antara landing page Versi A dan Versi B. \[ H_0 : \mu_A = \mu_B \]

• Hipotesis Alternatif (\(H_1\))
  Terdapat perbedaan rata-rata durasi sesi pengguna antara landing page Versi A dan Versi B. \[ H_1 : \mu_A \neq \mu_B \]

Uji statistik yang digunakan adalah uji t dua sampel independen (independent two-sample t-test)

• Karena data berasal dari dua kelompok pengguna yang saling independen, yaitu pengguna landing page Versi A dan Versi B.
• Selain itu, simpangan baku populasi tidak diketahui dan ukuran sampel relatif kecil, sehingga uji t lebih sesuai dibandingkan uji Z.

Pengujian dilakukan secara dua arah, karena hipotesis alternatif menyatakan adanya perbedaan rata-rata tanpa menentukan arah perbedaan secara spesifik.

• Rumus statistik uji t (dua sampel independen):
  \[ t = \frac{\bar{x}_A - \bar{x}_B} {\sqrt{\dfrac{s_A^2}{n_A} + \dfrac{s_B^2}{n_B}}} \]

• Statistik uji t: \[ \begin{aligned} t &= \frac{4.8 - 5.4} {\sqrt{\dfrac{1.2^2}{25} + \dfrac{1.4^2}{25}}} \\[6pt] &= \frac{-0.6} {\sqrt{\dfrac{1.44}{25} + \dfrac{1.96}{25}}} \\[6pt] &= \frac{-0.6} {\sqrt{\dfrac{3.40}{25}}} \\[6pt] &= \frac{-0.6} {\sqrt{0.136}} \\[6pt] &= \frac{-0.6}{0.369} \\[6pt] &\approx -1.63 \end{aligned} \]

• Hitung p-value:
  Derajat Kebebasan:
  \[ df = \frac{\left( \frac{s_A^2}{n_A} + \frac{s_B^2}{n_B} \right)^2} {\frac{\left( \frac{s_A^2}{n_A} \right)^2}{n_A - 1} + \frac{\left( \frac{s_B^2}{n_B} \right)^2}{n_B - 1}} \\[6pt] df = \frac{\left( \frac{1.2^2}{25} + \frac{1.4^2}{25} \right)^2} {\frac{\left( \frac{1.2^2}{25} \right)^2}{24} + \frac{\left( \frac{1.4^2}{25} \right)^2}{24}} = \frac{(0.0576 + 0.0784)^2} {\frac{0.0576^2}{24} + \frac{0.0784^2}{24}} = \frac{0.136^2}{0.000138 + 0.000256} \approx 47 \] Derajat kebebasan dihitung menggunakan pendekatan Welch–Satterthwaite karena simpangan baku kedua sampel tidak diasumsikan sama.

  Rumus p-value untuk uji t dua arah adalah:
  \[ p\text{-value} = 2 \times P(t \le -|t|) \] Dengan nilai statistik uji \(t = -1.63\), maka:
  \[ \begin{aligned} p\text{-value} &= 2 \times P(t \le -|t|) \\ &= 2 \times P(t \le -|-1.63|) \\ &= 2 \times P(t \le -1.63) \end{aligned} \] Berdasarkan tabel distribusi t dengan derajat bebas \(df = 47\), diperoleh:
  \[ P(t \le -1.63) \approx 0.055 \] Sehingga:
  \[ \begin{aligned} p\text{-value} &= 2 \times 0.055 \\ &\approx 0.11 \end{aligned} \]

Berdasarkan hasil perhitungan pada Task 3, diperoleh nilai statistik uji \(t \approx -1.63\) dengan nilai \(p\text{-value} \approx 0.11\).
Nilai p-value tersebut dibandingkan dengan tingkat signifikansi yang digunakan, yaitu \(\alpha = 0.05\). Karena \(p\text{-value} > \alpha \quad (0.11 > 0.05)\), maka tidak terdapat bukti statistik yang cukup kuat untuk menolak hipotesis nol (\(H_0\)).

Dengan demikian, pada tingkat signifikansi 5%, hipotesis nol (\(H_0\)) gagal ditolak.

Hasil pengujian menunjukkan bahwa tidak terdapat bukti statistik yang cukup untuk menyatakan adanya perbedaan rata-rata durasi sesi pengguna antara landing page Versi A dan Versi B. Perbedaan rata-rata yang teramati kemungkinan disebabkan oleh variasi data sampel.

Implikasi terhadap keputusan produk:
Berdasarkan hasil ini, belum terdapat dasar statistik yang kuat untuk menyimpulkan bahwa salah satu versi landing page lebih efektif dalam meningkatkan durasi sesi pengguna. Oleh karena itu, tim produk belum perlu mengganti landing page yang digunakan hanya berdasarkan hasil pengujian ini.

Perusahaan e-commerce ingin mengevaluasi apakah jenis perangkat yang digunakan pengguna berhubungan dengan preferensi metode pembayaran, yang digunakan sebagai dasar analisis perilaku transaksi pengguna. Oleh karena itu, hipotesis statistik dirumuskan sebagai berikut:

• Hipotesis Nol (\(H_0\))
  Tidak terdapat hubungan antara jenis perangkat yang digunakan pengguna dan metode pembayaran yang dipilih. \[ H_0:\ \text{Jenis perangkat dan metode pembayaran saling independen} \]
• Hipotesis Alternatif (\(H_1\))
  Terdapat hubungan antara jenis perangkat yang digunakan pengguna dan metode pembayaran yang dipilih. \[ H_1:\ \text{Jenis perangkat dan metode pembayaran tidak independen} \]

Uji statistik yang digunakan dalam studi kasus ini adalah Uji Chi-Square (χ²) untuk independensi, karena:

• Variabel yang dianalisis bersifat kategorik, yaitu:
  • Jenis perangkat: Mobile dan Desktop
    
  • Metode pembayaran: E-Wallet, Credit Card, dan Cash on Delivery
    
• Data disajikan dalam bentuk tabel kontingensi yang memuat frekuensi pengamatan.
  
• Tujuan analisis adalah untuk menguji ada atau tidaknya hubungan antara dua variabel kategorik, bukan untuk membandingkan rata-rata atau nilai numerik.

• Menyusun tabel frekuensi observasi

\[ Total Pengamatan: N = 440 \]

• Menghitung Frekuensi Harapan
  Rumus frekuensi harapan: \[ E_{ij} = \frac{(\text{Total baris}_i)(\text{Total kolom}_j)}{N} \]
  Perangkat Mobile:
  \[ \begin{aligned} E_{\text{Mobile, Dompet}} &= \frac{250 \times 180}{440} = 102.27 \\[6pt] E_{\text{Mobile, Kredit}} &= \frac{250 \times 170}{440} = 96.59 \\[6pt] E_{\text{Mobile, COD}} &= \frac{250 \times 90}{440} = 51.14 \end{aligned} \]
  Perangkat Desktop:
  \[ \begin{aligned} E_{\text{Desktop, Dompet}} &= \frac{190 \times 180}{440} = 77.73 \\[6pt] E_{\text{Desktop, Kredit}} &= \frac{190 \times 170}{440} = 73.41 \\[6pt] E_{\text{Desktop, COD}} &= \frac{190 \times 90}{440} = 38.86 \end{aligned} \]

• Menghitung Nilai Chi-Square (\(\chi^2\))
  Rumus statistik Chi-Square:
  \[ \chi^2 = \sum \frac{(O - E)^2}{E} \] Perhitungan tiap sel:
  \[ \begin{aligned} \chi^2_{\text{ Mobile, Dompet}} &= \frac{(120 - 102.27)^2}{102.27} = 3.074 \\[6pt] \chi^2_{\text{ Mobile, Kredit}} &= \frac{(80 - 96.59)^2}{96.59} = 2.849 \\[6pt] \chi^2_{\text{ Mobile, COD}} &= \frac{(50 - 51.14)^2}{51.14} = 0.025 \\[6pt] \chi^2_{\text{ Desktop, Dompet}} &= \frac{(60 - 77.73)^2}{77.73} = 4.044 \\[6pt] \chi^2_{\text{ Desktop, Kredit}} &= \frac{(90 - 73.41)^2}{73.41} = 3.749 \\[6pt] \chi^2_{\text{ Desktop, COD}} &= \frac{(40 - 38.86)^2}{38.86} = 0.033 \end{aligned} \]
  Menjumlahkan Seluruh Komponen \(\chi^2\)
  \[ \begin{aligned} \chi^2 &= 3.07 + 2.85 + 0.03 + 4.05 + 3.75 + 0.03 \\[6pt] &= 13.77 \end{aligned} \]

Nilai statistik uji Chi-Square yang diperoleh pada tugas 3 adalah: \[ \chi^2_{\text{hitung}} = 13.77 \]

• Menghitung Derajat Kebebasan (df)
  Untuk uji Chi-Square independensi, derajat kebebasan (\(df\)) dihitung dengan rumus: \[ \begin{aligned} df &= (r - 1)(c - 1) \end{aligned} \] dengan:

  • \(r\) = jumlah baris (jenis perangkat)
    
  • \(c\) = jumlah kolom (metode pembayaran)
    Pada studi kasus ini:
  • Jumlah baris = 2 (Mobile, Desktop)
    
  • Jumlah kolom = 3 (Dompet Digital, Kartu Kredit, Bayar di Tempat)

  \[ \begin{aligned} df &= (2 - 1)(3 - 1) \\[6pt] &= 1 \times 2 \\[6pt] &= 2 \end{aligned} \]

• Menentukan p-value:
  Nilai p-value ditentukan berdasarkan distribusi Chi-Square sebagai berikut: \[ p\text{-value} = P\left(\chi^2 \ge \chi^2_{\text{hitung}}\right) \] \[ p\text{-value} = P\left(\chi^2 \ge 13.77 \mid df = 2\right) \] Berdasarkan tabel distribusi Chi-Square atau perhitungan menggunakan perangkat lunak statistik, diperoleh: \[ p\text{-value} \approx 0.00102 \]

Karena nilai p-value lebih kecil dari tingkat signifikansi yang digunakan \((0.001 < 0.05)\), maka hipotesis nol (H₀) ditolak.

Artinya, terdapat hubungan yang signifikan secara statistik antara jenis perangkat dan metode pembayaran yang dipilih pengguna.

Hasil pengujian menunjukkan bahwa preferensi metode pembayaran pengguna berkaitan dengan jenis perangkat yang digunakan. Pengguna mobile cenderung lebih sering menggunakan dompet digital, sedangkan pengguna desktop lebih banyak memilih kartu kredit. Metode Bayar di Tempat (COD) menunjukkan frekuensi yang relatif lebih kecil dan tidak dominan pada kedua perangkat.

Dalam konteks strategi bisnis, perusahaan dapat:

• Memprioritaskan tampilan dan promosi dompet digital pada platform mobile
• Mengoptimalkan integrasi kartu kredit pada versi desktop
• Menyesuaikan antarmuka pembayaran agar lebih sesuai dengan kebiasaan pengguna

Pendekatan ini berpotensi meningkatkan kenyamanan pengguna dan efisiensi proses transaksi.

Dalam pengujian hipotesis, Kesalahan Tipe I (α) terjadi ketika Hipotesis Nol (H₀) ditolak, padahal H₀ sebenarnya benar. Dalam konteks studi kasus ini:

• H₀: Algoritma deteksi penipuan yang baru tidak mengurangi transaksi penipuan.
  
• Kesalahan Tipe I terjadi apabila perusahaan menyimpulkan bahwa algoritma baru efektif mengurangi penipuan, padahal pada kenyataannya algoritma tersebut tidak memberikan dampak nyata.

Dalam konteks bisnis, kesalahan ini dapat menyebabkan perusahaan mengadopsi dan mengimplementasikan algoritma yang sebenarnya tidak efektif, sehingga sumber daya dialokasikan pada sistem yang tidak memberikan manfaat yang diharapkan.

Kesalahan Tipe II (β) adalah kesalahan yang terjadi ketika Hipotesis Nol (H₀) gagal ditolak, padahal H₀ sebenarnya tidak benar.
Dalam konteks studi kasus ini:

• H₀: Algoritma deteksi penipuan yang baru tidak mengurangi transaksi penipuan.
  
• Kesalahan Tipe II (β) terjadi apabila perusahaan menyimpulkan bahwa algoritma baru tidak mengurangi transaksi penipuan, padahal sebenarnya algoritma tersebut memiliki kemampuan untuk menurunkan tingkat penipuan.

Kesalahan ini menyebabkan perusahaan kehilangan kesempatan untuk memanfaatkan sistem deteksi penipuan yang efektif, sehingga risiko dan kerugian akibat transaksi penipuan tetap berlanjut.

Dari perspektif bisnis, Kesalahan Tipe II (β) cenderung lebih mahal dibandingkan Kesalahan Tipe I.

Hal ini karena Kesalahan Tipe II membuat perusahaan gagal mengadopsi algoritma yang sebenarnya efektif, sehingga transaksi penipuan terus terjadi tanpa adanya perbaikan sistem. Dampak bisnis yang dapat timbul meliputi kerugian finansial langsung, meningkatnya biaya penanganan fraud, potensi meningkatnya chargeback, serta penurunan kepercayaan pelanggan terhadap platform.

Sebaliknya, meskipun Kesalahan Tipe I juga menimbulkan biaya karena perusahaan mengadopsi sistem yang tidak efektif, dampaknya relatif lebih mudah dikendalikan dibandingkan kerugian jangka panjang akibat membiarkan fraud terus berlangsung.

Ukuran sampel memiliki peran penting dalam menentukan kemungkinan terjadinya Kesalahan Tipe II (β).

Pada ukuran sampel yang kecil, kemampuan uji statistik untuk mendeteksi efek yang sebenarnya menjadi rendah, sehingga peluang gagal mendeteksi efektivitas algoritma meningkat.
Sebaliknya, peningkatan ukuran sampel akan memperkecil kesalahan standar, meningkatkan ketepatan estimasi, serta meningkatkan daya uji statistik, yang pada akhirnya menurunkan probabilitas Kesalahan Tipe II.

Dalam konteks evaluasi algoritma deteksi penipuan, penggunaan ukuran sampel yang memadai memungkinkan perusahaan untuk menilai efektivitas algoritma secara lebih akurat dan mengurangi risiko menolak sistem yang sebenarnya bermanfaat.

Dalam pengujian hipotesis statistik, tingkat signifikansi (α), Kesalahan Tipe II (β), dan daya statistik (statistical power) memiliki hubungan yang saling berkaitan.

• α (tingkat signifikansi) adalah probabilitas melakukan Kesalahan Tipe I, yaitu menolak H₀ ketika H₀ benar.
• β adalah probabilitas melakukan Kesalahan Tipe II, yaitu gagal menolak H₀ ketika H₀ salah.
• Daya statistik (power) didefinisikan sebagai \(1 − β\), yaitu probabilitas bahwa uji statistik berhasil mendeteksi efek yang benar-benar ada.

Jika nilai α ditetapkan semakin kecil, maka kriteria pengujian menjadi lebih ketat sehingga risiko Kesalahan Tipe I menurun, namun konsekuensinya risiko Kesalahan Tipe II (β) cenderung meningkat. Sebaliknya, menurunkan nilai β akan meningkatkan daya statistik, sehingga pengujian menjadi lebih sensitif dalam mendeteksi efektivitas suatu perlakuan atau algoritma.

Dalam konteks algoritma deteksi penipuan, daya statistik yang tinggi sangat penting agar perusahaan tidak gagal mendeteksi algoritma yang sebenarnya efektif. Oleh karena itu, pengaturan nilai α yang wajar serta penggunaan ukuran sampel yang memadai diperlukan untuk menekan β dan meningkatkan daya statistik, sehingga keputusan bisnis dapat diambil secara lebih akurat.

p-value merupakan probabilitas untuk memperoleh nilai statistik uji yang sama ekstremnya atau lebih ekstrem dibandingkan dengan yang diamati, dengan asumsi bahwa hipotesis nol (H₀) benar.

Pada studi kasus ini, nilai p-value sebesar 0.021 menunjukkan bahwa apabila model prediksi churn sebenarnya tidak memiliki pengaruh atau perbedaan yang signifikan, maka peluang untuk memperoleh hasil statistik seperti ini sangat kecil, yaitu sekitar 2.1%.

Berdasarkan hasil pengujian, diperoleh nilai p-value sebesar 0.021 dan tingkat signifikansi yang digunakan adalah \(\alpha =0.05\)

Karena nilai p-value lebih kecil dari tingkat signifikansi \((0.021 < 0.05)\), maka hipotesis nol (H₀) ditolak.
Dengan demikian, terdapat bukti statistik yang cukup untuk menyimpulkan bahwa hasil evaluasi model prediksi churn menunjukkan pengaruh atau perbedaan yang signifikan secara statistik.

Hasil analisis menunjukkan bahwa performa model prediksi churn bukan terjadi secara kebetulan, melainkan benar-benar menunjukkan perbedaan yang bermakna berdasarkan data yang dianalisis.

Dalam konteks pengambilan keputusan bisnis, hal ini berarti bahwa model prediksi churn cukup andal untuk digunakan sebagai dasar dalam mengidentifikasi pelanggan yang berpotensi berhenti menggunakan layanan. Dengan menggunakan model ini, manajemen dapat menyusun strategi retensi pelanggan, seperti penawaran promosi atau program loyalitas, secara lebih terarah dan berbasis data.

Jika sampel yang digunakan dalam analisis model prediksi churn tidak representatif, maka hasil pengujian statistik dan kesimpulan yang diambil bisa menjadi tidak akurat.

Dalam konteks studi kasus ini, risiko yang dapat terjadi antara lain:

• Model prediksi churn terlihat signifikan secara statistik, padahal sebenarnya hanya berlaku untuk kelompok pelanggan tertentu saja.
• Model gagal mengenali pola churn pada segmen pelanggan lain yang tidak terwakili dalam sampel.
• Keputusan bisnis yang diambil berdasarkan model tersebut (misalnya strategi retensi) menjadi kurang efektif atau salah sasaran.

Akibatnya, perusahaan dapat mengambil keputusan yang keliru karena hasil analisis tidak mencerminkan kondisi seluruh pelanggan.

Nilai p (p-value) tidak mengukur besarnya efek karena nilai tersebut hanya menunjukkan tingkat signifikansi statistik, bukan kekuatan atau dampak praktis dari suatu hasil. Nilai p dipengaruhi oleh ukuran sampel, sehingga pada sampel yang besar, perbedaan yang sangat kecil pun dapat menghasilkan nilai p yang signifikan.

Dalam konteks studi kasus prediksi churn, nilai p-value yang kecil menunjukkan bahwa model memiliki pengaruh yang signifikan secara statistik, tetapi tidak menunjukkan seberapa besar kemampuan model tersebut dalam membedakan pelanggan yang akan churn dan yang tidak. Untuk menilai besarnya dampak secara praktis, diperlukan ukuran lain seperti effect size, akurasi model, atau metrik performa prediksi lainnya.