Analisis Multivariat pada A/B Testing Fintech: Uji Hotelling T² untuk MAD dan ARPU

---

Muhammad Hafiz Fazli - G1401231081

Tugas Pertemuan 6, STA1342-Teknik Peubah Ganda, IPB University

---

Studi Kasus (Fintech A/B)

Konteks.
Neo-bank sedang melakukan A/B test model penilaian kredit baru (FinIn-style).

• Grup A = Model lama
• Grup B = Model baru

Dua metrik diukur per pengguna:

1. MAD = Monthly Active Days
2. ARPU = Average Revenue per User

Hipotesis (dua vektor rataan, independen, ragam sama):

\[ H_0 : \mu_A = \mu_B \quad \text{vs} \quad H_1 : \mu_A \neq \mu_B \]

dengan

\[ \mu = [MAD, ARPU]^\top \]

---

1. Bangkitkan Data

set.seed(081)
library(MASS)

n1 <- 30
n2 <- 28

mu_A <- c(10, 50)
mu_B <- c(12, 55)
Sigma <- matrix(c(25, 8,
                  8, 36), 2, 2, byrow = TRUE)

A <- mvrnorm(n1, mu = mu_A, Sigma = Sigma)
B <- mvrnorm(n2, mu = mu_B, Sigma = Sigma)

colnames(A) <- colnames(B) <- c("MAD","ARPU")
head(A); head(B)

##            MAD     ARPU
## [1,] -2.977693 49.41057
## [2,] 17.452384 49.57837
## [3,] 11.830911 55.22170
## [4,] 11.986406 53.02071
## [5,] 10.868275 51.70215
## [6,] -2.041323 55.31574

##            MAD     ARPU
## [1,] 10.809394 54.83575
## [2,]  9.930212 61.76824
## [3,] 14.249415 60.31646
## [4,] 14.340508 52.13471
## [5,] 12.752661 57.57658
## [6,] 16.510504 61.88303

2. Hitung Rataan

xbar1 <- colSums(A) / n1
xbar2 <- colSums(B) / n2
mu_hat <- xbar1 - xbar2
xbar1; xbar2; mu_hat

##      MAD     ARPU 
##  8.67118 50.59296

##      MAD     ARPU 
## 12.48367 56.21192

##       MAD      ARPU 
## -3.812489 -5.618961

3. Matriks Kovariansi per Grup

center1 <- scale(A, center = xbar1, scale = FALSE)
S1 <- t(center1) %*% center1 / (n1 - 1)

center2 <- scale(B, center = xbar2, scale = FALSE)
S2 <- t(center2) %*% center2 / (n2 - 1)

S1; S2

##            MAD      ARPU
## MAD  27.311135  8.789153
## ARPU  8.789153 24.228081

##            MAD      ARPU
## MAD  20.158345  6.056215
## ARPU  6.056215 24.227994

4. Matriks Kovariansi Gabungan

Sp <- ((n1-1)*S1 + (n2-1)*S2) / (n1 + n2 - 2)
Sp

##            MAD      ARPU
## MAD  23.862468  7.471487
## ARPU  7.471487 24.228039

5. Hitung Statistik Uji T²

p  <- 2
T2 <- (n1*n2/(n1+n2)) * t(mu_hat) %*% solve(Sp) %*% mu_hat
Fh <- as.numeric(((n1+n2-p-1)/(p*(n1+n2-2))) * T2)
T2; Fh

##          [,1]
## [1,] 21.77879

## [1] 10.69494

6. Transformasi ke Statistik F

Fcrit <- qf(0.95, df1 = 2, df2 = 55)
pval  <- 1 - pf(Fh, df1 = 2, df2 = 55)
Fcrit; pval

## [1] 3.164993

## [1] 0.0001192582

7. Interpretasi

Hasil uji menunjukkan bahwa nilai \(F_{\text{hitung}}\) lebih besar daripada \(F_{\text{kritis}} = 3.165\), dan nilai p-value yang diperoleh sangat kecil (\(p \approx 0.00012 < 0.05\)).

Dengan demikian, tolak \(H_0\) pada taraf signifikansi 5%.

Artinya, secara multivariat (MAD dan ARPU secara bersamaan) terdapat perbedaan signifikan antara grup A (model lama) dan grup B (model baru).
Berdasarkan selisih rata-rata sampel, grup B (model baru) memiliki MAD dan ARPU yang lebih tinggi, sehingga model kredit baru terbukti lebih efektif dalam meningkatkan keterlibatan dan pendapatan pengguna.