Chỉ số chính (primary): Tỷ lệ chuyển đổi (hoàn thành đăng ký) — dùng để quyết định thắng/thua. Chỉ số phụ (secondary): Thời gian hoàn thành đăng ký, Tỷ lệ bỏ dở giữa chừng — xem ở tab “Chỉ số phụ”, giúp hiểu vì sao primary metric thay đổi và phát hiện trade-off.
A: Tệp KH được áp dụng phiên bản cũ
B: Tệp KH được áp dụng phiên bản mới
Hypothesis test: tỷ lệ chuyển đổi trên tập khách hàng B (\(P_B{}\)) có lớn hơn tỷ lệ chuyển đổi trên tệp khách hàng A hay không (\(P_{A}\)) \[H_{0}:\ P_{B} - P_{A} = 0\] \[H_{1}:\ P_{B} - P_{A} > 0\]
Giả xử mỗi nhóm có n khách hàng, ta đặt:
- \(X_{A}:\) Số lượng khách hàng chuyển
đổi ở nhóm A.
- \(X_{B}:\) Số lượng khách hàng chuyển
đổi ở nhóm B.
Khi đó:
\(X_{A} \sim Bin(n, p_{A})\)
\(X_{B} \sim Bin(n, p_{B})\)
Với Moment(kỳ vọng và phương sai):
\[E[X] = np\] \[Var[X] = E[X^{2}] - E[X]^{2} = np - n^{2}p^{2} =
np(1 - np)\]
Ta có thể xác định được phân phối của tỉ lệ chuyển đổi của khách hàng trong nhóm 1 và nhóm 2:
\(E[p_{A}] = np_{a}\), \(E[p_{B}] = np_{B}\)
\(Var[p_{A}] = E[p^{2}_{A}] - E[p_{A}]^{2} = np_{a}^{2} - n^{2}p_{A}^{2}\)