1. Uji Statistik

Menggunakan Z-interval (Confidence Interval Mean, σ known)

Karena:

• σ (simpangan baku populasi) diketahui
• Tujuan: estimasi rata-rata populasi
• n = 100 (besar)

2. Hitung Interval Kepercayaan

Data yang Diketahui

• Simpangan baku populasi:

  \[\sigma\] = 3.2

• Ukuran sampel:

  n = 100

• Rata-rata sampel:

  \[\bar{x}\] = 12.6

Karena σ diketahui, maka margin kesalahan ditentukan oleh rumus:

\[\text{Margin of Error} = z_{\alpha/2} \times \frac{\sigma}{\sqrt{n}}\]

Hitung Standard Error

\[\frac{\sigma}{\sqrt{n}} = \frac{3.2}{\sqrt{100}} = \frac{3.2}{10} = 0.32\]

Jadi, standard error = 0.32

# Set folder tempat gambar disimpan
setwd("C:/Users/Lenovo/Downloads")  # sesuaikan lokasi

# Tampilkan gambar
img <- png::readPNG("C:/Users/Lenovo/Downloads/unnamed.png")       # ganti nama file jika beda
grid::grid.raster(img)

# Set folder tempat gambar disimpan
setwd("C:/Users/Lenovo/Downloads")  # sesuaikan lokasi

# Tampilkan gambar
img <- png::readPNG("C:/Users/Lenovo/Downloads/unnamed.png")       # ganti nama file jika beda
grid::grid.raster(img)

# Set folder tempat gambar disimpan
setwd("C:/Users/Lenovo/Downloads")  # sesuaikan lokasi

# Tampilkan gambar
img <- png::readPNG("C:/Users/Lenovo/Downloads/unnamed.png")       # ganti nama file jika beda
grid::grid.raster(img)

3. visualisasi perbandingan

# =========================================
# VISUALISASI INTERVAL KEPERCAYAAN + LABEL
# =========================================

# 1. Data interval kepercayaan
confidence_level <- c("90%", "95%", "99%")
lower_bound <- c(12.07, 11.97, 11.77)
upper_bound <- c(13.13, 13.23, 13.43)
mean_value <- 12.6

# 2. Posisi sumbu Y
y_pos <- c(1, 2, 3)

# 3. Membuat plot dasar
plot(
  x = c(11.6, 13.6),
  y = c(0.5, 3.5),
  type = "n",
  xlab = "Rata-rata Jumlah Transaksi Harian",
  ylab = "Tingkat Kepercayaan",
  yaxt = "n",
  main = "Perbandingan Interval Kepercayaan Rata-rata Transaksi"
)

# 4. Sumbu Y
axis(2, at = y_pos, labels = confidence_level)

# 5. Garis interval kepercayaan
segments(lower_bound, y_pos, upper_bound, y_pos, lwd = 3)

# 6. Titik rata-rata sampel
points(rep(mean_value, 3), y_pos, pch = 19)

# 7. Garis vertikal rata-rata
abline(v = mean_value, lty = 2)

# 8. Label angka batas bawah
text(
  x = lower_bound,
  y = y_pos - 0.15,
  labels = lower_bound,
  cex = 0.8
)

# 9. Label angka batas atas
text(
  x = upper_bound,
  y = y_pos - 0.15,
  labels = upper_bound,
  cex = 0.8
)

# 10. Label nilai rata-rata
text(
  x = mean_value,
  y = 3.35,
  labels = paste("Rata-rata =", mean_value),
  pos = 4,
  cex = 0.9
)

4. Interpretasi

Grafik menunjukkan bahwa interval kepercayaan 90% memiliki rentang paling sempit, sedangkan interval kepercayaan 99% memiliki rentang paling lebar. Hal ini menandakan bahwa semakin tinggi tingkat kepercayaan yang digunakan, semakin besar ketidakpastian estimasi rata-rata transaksi harian pengguna. Dalam praktik analitik bisnis, interval kepercayaan 95% sering digunakan karena memberikan keseimbangan antara tingkat keyakinan dan ketepatan estimasi, sehingga cocok sebagai dasar pengambilan keputusan terkait evaluasi fitur baru.

1. Uji Statistik

Menggunakan interval kepercayaan t

Alasan:

1. Simpangan baku populasi (σ) tidak diketahui, sehingga harus digantikan oleh simpangan baku sampel (s).
2. Ukuran sampel kecil (n = 12 < 30).
3. Diasumsikan data berasal dari populasi yang berdistribusi normal.

2. Hitung Interval Kepercayaan

Dari data yang diberikan diperoleh:

• Ukuran sampel:

  \[n = 12\]

• Derajat kebebasan:

  \[df = n - 1 = 11\]

• Rata-rata sampel:

  \[\bar{x} = 8{,}46\]

• Simpangan baku sampel:

  \[s = 0{,}40\]

• Standard error:

  \[SE = \frac{s}{\sqrt{n}} = \frac{0{,}40}{\sqrt{12}} = 0{,}115\]

# Set folder tempat gambar disimpan
setwd("C:/Users/Lenovo/Downloads")  # sesuaikan lokasi

# Tampilkan gambar
img <- png::readPNG("C:/Users/Lenovo/Downloads/tt.png")       # ganti nama file jika beda
grid::grid.raster(img)

# Set folder tempat gambar disimpan
setwd("C:/Users/Lenovo/Downloads")  # sesuaikan lokasi

# Tampilkan gambar
img <- png::readPNG("C:/Users/Lenovo/Downloads/tt.png")       # ganti nama file jika beda
grid::grid.raster(img)

# Set folder tempat gambar disimpan
setwd("C:/Users/Lenovo/Downloads")  # sesuaikan lokasi

# Tampilkan gambar
img <- png::readPNG("C:/Users/Lenovo/Downloads/tt.png")       # ganti nama file jika beda
grid::grid.raster(img)

3. visualisasi perbandingan

library(ggplot2)

## Warning: package 'ggplot2' was built under R version 4.5.2

# Fungsi untuk menghitung lebar interval
calculate_width <- function(n_sample, confidence = 0.95, s = 0.40) {
  se <- s / sqrt(n_sample)
  df <- n_sample - 1
  t_critical <- qt((1 + confidence)/2, df)
  width <- 2 * t_critical * se
  return(width)
}

# Ukuran sampel yang berbeda
sample_sizes <- c(12, 20, 30, 50, 100)
conf_levels <- c(0.90, 0.95, 0.99)

# Buat dataframe untuk plot
plot_data <- expand.grid(n = sample_sizes, confidence = conf_levels)
plot_data$width <- mapply(calculate_width, plot_data$n, plot_data$confidence)

# Tambahkan label confidence untuk warna
plot_data$CI <- factor(plot_data$confidence, labels = c("90%", "95%", "99%"))

# Plot
ggplot(plot_data, aes(x = n, y = width, color = CI, shape = CI)) +
  geom_point(size = 3) +
  geom_line(size = 1) +
  labs(title = "Pengaruh Ukuran Sampel dan Tingkat Kepercayaan terhadap Lebar Interval",
       x = "Ukuran Sampel (n)",
       y = "Lebar Interval (menit)",
       color = "Tingkat Kepercayaan",
       shape = "Tingkat Kepercayaan") +
  theme_minimal(base_size = 14) +
  scale_x_continuous(breaks = sample_sizes) +
  scale_color_manual(values = c("#1f78b4", "#33a02c", "#e31a1c")) +
  scale_shape_manual(values = c(17, 19, 15)) +
  geom_text(aes(label=round(width,2)), vjust=-0.5, size=3)

## Warning: Using `size` aesthetic for lines was deprecated in ggplot2 3.4.0.
## ℹ Please use `linewidth` instead.
## This warning is displayed once every 8 hours.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.

4. Interpretasi

1. Tingkat Kepercayaan (Confidence Level)

   • Dari grafik terlihat bahwa CI 99% paling panjang, diikuti CI 95%, dan CI 90% paling pendek.
   • Artinya, semakin tinggi tingkat kepercayaan, kita ingin lebih yakin bahwa interval mencakup rata-rata populasi, sehingga rentangnya lebih lebar.
   • Sebaliknya, tingkat kepercayaan rendah → interval lebih sempit, tapi kita lebih sedikit yakin.

2. Ukuran Sampel (Sample Size)

   Walaupun grafik ini menggunakan satu sampel (n = 12), kita bisa bandingkan konsepnya:

   • Jika ukuran sampel lebih besar, standard error (SE) mengecil, sehingga interval menjadi lebih sempit.
   • Jika ukuran sampel kecil, SE lebih besar → interval lebih lebar.

Kesimpulan

• Lebar interval meningkat ketika kita ingin lebih percaya diri (tingkat kepercayaan tinggi).
• Lebar interval menurun ketika kita memiliki lebih banyak data (ukuran sampel besar).
• Dengan kata lain, untuk estimasi yang presisi, kita butuh sampel besar dan tingkat kepercayaan yang sesuai.

1. Proporsi Sampel

Diketahui:

• Total pengguna: ( n = 400 )
• Pengguna klik CTA: ( x = 156 )

Proporsi sampel adalah:

\[\hat{p} = \frac{x}{n}\]

\[\hat{p} = \frac{156}{400} = 0.39\]

Jadi, proporsi pengguna yang mengklik CTA adalah 0,39 (39%).

2. Interval Kepercayaan

Data yang Diketahui

• Total pengguna: ( n = 400 )
• Pengguna klik CTA: ( x = 156 )
• Proporsi sampel:

\[\hat{p} = \frac{x}{n} = \frac{156}{400} = 0.39\]

Rumus Interval Kepercayaan untuk proporsi:

\[CI = \hat{p} \pm z_{\alpha/2} \cdot \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\]

Hitung Standard Error (SE):

\[SE = \sqrt{\frac{\hat{p}(1-\hat{p})}{n}} = \sqrt{\frac{0.39 \cdot 0.61}{400}} = \sqrt{0.00059475} \approx 0.02439\]

# Set folder tempat gambar disimpan
setwd("C:/Users/Lenovo/Downloads")  # sesuaikan lokasi

# Tampilkan gambar
img <- png::readPNG("C:/Users/Lenovo/Downloads/tabel-Z.png")       # ganti nama file jika beda
grid::grid.raster(img)

# Set folder tempat gambar disimpan
setwd("C:/Users/Lenovo/Downloads")  # sesuaikan lokasi

# Tampilkan gambar
img <- png::readPNG("C:/Users/Lenovo/Downloads/tabel-Z.png")       # ganti nama file jika beda
grid::grid.raster(img)

# Set folder tempat gambar disimpan
setwd("C:/Users/Lenovo/Downloads")  # sesuaikan lokasi

# Tampilkan gambar
img <- png::readPNG("C:/Users/Lenovo/Downloads/tabel-Z.png")       # ganti nama file jika beda
grid::grid.raster(img)

3. Visualisasi Perbandingan

# Load library
library(ggplot2)

# Data interval kepercayaan
CI <- data.frame(
  CI = factor(c("90%", "95%", "99%"), levels=c("90%", "95%", "99%")),
  Lower = c(0.35, 0.34, 0.33),
  Upper = c(0.43, 0.44, 0.45)
)

# Buat plot
ggplot(CI, aes(x=CI)) +
  geom_errorbar(aes(ymin=Lower, ymax=Upper), width=0.2, size=1.5, color="#1f78b4") + # interval CI
  geom_point(aes(y=(Lower+Upper)/2), size=4, color="#e31a1c") + # proporsi sampel
  geom_text(aes(y=Upper + 0.005, label=paste0("(",Lower,", ",Upper,")")), size=4, color="black") + # label interval
  ylim(0.32, 0.46) +
  ylab("Proporsi Klik CTA") +
  xlab("Tingkat Interval Kepercayaan") +
  ggtitle("Perbandingan Interval Kepercayaan Proporsi Klik CTA") +
  theme_minimal(base_size = 14) +
  theme(plot.title = element_text(hjust = 0.5, face="bold"))

4. Interpretasi

Pengaruh Tingkat Kepercayaan dalam Eksperimen Produk

1. Definisi Tingkat Kepercayaan (Confidence Level)

   Tingkat kepercayaan adalah probabilitas bahwa interval kepercayaan yang dibangun dari sampel benar-benar mencakup parameter populasi yang sebenarnya.

Contoh: CI 95% → kita 95% yakin proporsi klik CTA sebenarnya berada dalam interval yang dihitung.

2. Efek terhadap Lebar Interval

Semakin tinggi tingkat kepercayaan → nilai z kritis lebih besar → margin kesalahan lebih besar → interval kepercayaan lebih lebar. Semakin rendah tingkat kepercayaan → nilai z lebih kecil → interval lebih sempit → risiko kesalahan lebih tinggi.

Ilustrasi dari A/B testing:

3. Implikasi pada Pengambilan Keputusan Produk

CI tinggi (misal 99%):

• Kita lebih yakin hasilnya bukan kebetulan
• Cocok untuk keputusan penting, misal meluncurkan fitur baru atau desain tombol baru ke seluruh pengguna
• Kekurangannya: perubahan kecil mungkin tidak terlihat signifikan

CI rendah (misal 90%):

• Lebih “sensitif” terhadap perbedaan kecil antara versi A dan B
• Risiko kesalahan lebih tinggi → bisa salah mengambil keputusan jika hasil sampel tidak representatif

Trade-off:

• Tingkat kepercayaan tinggi → aman tapi konservatif
• Tingkat kepercayaan rendah → lebih agresif tapi risiko lebih besar

4. Kesimpulan untuk A/B Testing

Pilih tingkat kepercayaan sesuai risiko yang bisa diterima dan dampak keputusan.

Contoh praktis:

• CI 95% biasanya standar untuk eksperimen produk karena keseimbangan antara keyakinan dan kemampuan mendeteksi perubahan.
• CI 99% cocok jika keputusan sangat strategis atau berisiko tinggi.

1. Uji Statistik

Kita menentukan jenis uji berdasarkan informasi tentang standar deviasi (simpangan baku):

Team A: Menggunakan Z-Test (Z-Interval).

Alasan: Nilai standar deviasi populasi diketahui secara pasti \((\sigma = 24)\). Ketika \(\sigma\) diketahui, kita menggunakan distribusi Z.

Team B: Menggunakan t-Test (t-Interval).

Alasan: Standar deviasi populasi tidak diketahui, sehingga mereka menggunakan standar deviasi sampel (s = 24) sebagai estimasi. Ketika hanya s yang tersedia, kita harus menggunakan distribusi t (Student’s t-distribution) untuk mengakomodasi ketidakpastian tambahan.

2. Interval Kepercayaan (CI)

Tentu, ini adalah perhitungan yang sangat rinci (step-by-step) untuk kedua tim. Saya akan menguraikan dari mana setiap angka berasal agar Anda bisa melihat prosesnya dengan jelas.

3. Visualisasi Perbandingan

# Memanggil library
library(ggplot2)

# 1. Menyiapkan data hasil perhitungan sebelumnya
data_plot <- data.frame(
  Tim = rep(c("Tim A (Z-Test)", "Tim B (t-Test)"), each = 3),
  Confidence = rep(c("90%", "95%", "99%"), 2),
  Mean = 210,
  Lower = c(203.42, 202.16, 199.70,  # Batas bawah Tim A
            203.24, 201.88, 199.10), # Batas bawah Tim B
  Upper = c(216.58, 217.84, 220.30,  # Batas atas Tim A
            216.76, 218.12, 220.90)  # Batas atas Tim B
)

# 2. Membuat Plot
ggplot(data_plot, aes(x = Confidence, y = Mean, color = Tim)) +
  # Membuat garis interval (error bar)
  geom_errorbar(aes(ymin = Lower, ymax = Upper), 
                width = 0.2, 
                linewidth = 1,
                position = position_dodge(0.4)) +
  # Menambahkan titik rata-rata
  geom_point(position = position_dodge(0.4), size = 3) +
  # Estetika Grafik
  labs(title = "Perbandingan Presisi: Tim A vs Tim B",
       subtitle = "Interval Kepercayaan pada 90%, 95%, dan 99%",
       x = "Tingkat Kepercayaan",
       y = "Latensi API (ms)",
       color = "Metode") +
  theme_minimal() +
  scale_color_manual(values = c("blue", "red"))

Interpretasi

Visualisasi menunjukkan bahwa Tim A menghasilkan estimasi yang lebih efisien (interval lebih sempit) dibandingkan Tim B. Hal ini disebabkan penggunaan distribusi Z pada Tim A yang didasarkan pada parameter populasi yang diketahui, sementara Tim B menggunakan distribusi-t yang harus mengompensasi estimasi sampel dengan menyediakan margin kesalahan yang lebih luas

4. Penjelasan Mengapa Lebar Interval Berbeda

Meskipun datanya serupa \[(\bar{x}=210 dan deviasi=24)\], interval Tim B selalu lebih lebar karena dua alasan utama:

1. Kepastian Informasi:

• Tim A (Z-Test): Tahu nilai populasi asli \((\sigma)\). Tidak ada ketidakpastian tambahan, sehingga intervalnya lebih presisi (sempit).
• Tim B (t-Test): Hanya menebak berdasarkan sampel (s). Karena ada risiko tebakannya salah, statistik memberikan margin keamanan sehingga intervalnya lebih lebar.

2. Nilai Pengali (Critical Value):

• Nilai kritis t (Tim B) selalu lebih besar daripada nilai Z (Tim A).
• Contoh pada 95%: Tim A mengalikan dengan 1.96, sedangkan Tim B mengalikan dengan 2.03. Angka pengali yang lebih besar otomatis menghasilkan rentang yang lebih lebar.

1. Uji Statistik

Menggunakan Z-interval (Confidence Interval Proporsi – One-Sided / Lower Bound)

Karena:

• Data berupa proporsi
• Ukuran sampel besar: ( n = 250 )
• Estimasi proporsi populasi
• Manajemen hanya tertarik pada batas bawah

2. Interval Kepercayaan

Data yang Diketahui

• Jumlah sampel:

  \[n = 250\]

• Jumlah pengguna premium aktif:

  \[x = 185\]

• Proporsi sampel:

  \[\hat{p} = \frac{x}{n} = \frac{185}{250} = 0{,}74\]

Rumus Interval Kepercayaan Proporsi (Satu Sisi – Batas Bawah)

\[\text{Lower Bound} = \hat{p} - z_{\alpha} \times \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\]

Hitung Standard Error

\[SE = \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\]

\[SE = \sqrt{\frac{0{,}74(1-0{,}74)}{250}}\]

\[SE = \sqrt{\frac{0{,}74 \times 0{,}26}{250}}\]

\[SE = \sqrt{\frac{0{,}1924}{250}}\]

\[SE = \sqrt{0{,}0007696}\]

\[SE \approx 0{,}0277\]

# Set folder tempat gambar disimpan
setwd("C:/Users/Lenovo/Downloads")  # sesuaikan lokasi

# Tampilkan gambar
img <- png::readPNG("C:/Users/Lenovo/Downloads/unnamed.png")       # ganti nama file jika beda
grid::grid.raster(img)

# Set folder tempat gambar disimpan
setwd("C:/Users/Lenovo/Downloads")  # sesuaikan lokasi

# Tampilkan gambar
img <- png::readPNG("C:/Users/Lenovo/Downloads/unnamed.png")       # ganti nama file jika beda
grid::grid.raster(img)

# Set folder tempat gambar disimpan
setwd("C:/Users/Lenovo/Downloads")  # sesuaikan lokasi

# Tampilkan gambar
img <- png::readPNG("C:/Users/Lenovo/Downloads/unnamed.png")       # ganti nama file jika beda
grid::grid.raster(img)

3. Visualisasi Batas Bawah

# Data interval kepercayaan
ci_data <- data.frame(
  Confidence = c(90, 95, 99),
  LowerBound = c(0.7045, 0.6944, 0.6755)
)

# Pastikan ini data frame
print(ci_data)

##   Confidence LowerBound
## 1         90     0.7045
## 2         95     0.6944
## 3         99     0.6755

class(ci_data)

## [1] "data.frame"

# Plot
plot(
  x = ci_data$Confidence,
  y = ci_data$LowerBound,
  type = "b",
  pch = 19,
  lwd = 2,
  xlab = "Confidence Level (%)",
  ylab = "Lower Bound",
  main = "Lower Bound One-Sided Confidence Interval",
  ylim = c(0.65, 0.75)
)

abline(h = 0.70, lty = 2, lwd = 2)
text(95, 0.702, "Target 70%", pos = 3)

Interpretasi

Grafik menunjukkan bahwa semakin tinggi tingkat kepercayaan, batas bawah interval kepercayaan semakin rendah. Target 70% terpenuhi pada CI 90%, tetapi tidak terpenuhi pada CI 95% dan 99%, sehingga kesimpulan sangat bergantung pada tingkat keyakinan yang dipilih.

4. Hasil Evaluasi

Kesimpulan Statistik

Target 70% terpenuhi secara statistik hanya pada tingkat kepercayaan 90%. Pada tingkat kepercayaan 95% dan 99%, batas bawah interval kepercayaan berada di bawah 70%, sehingga tidak terdapat bukti statistik yang cukup kuat untuk menyatakan bahwa proporsi pengguna premium minimal 70%.