1 1. Посчитайте метрики по группам, которые считаете нужными и важными для бизнеса. Почему вы выбрали именно эти метрики ?
В этом исследовании буду смотреть на 3 метрики, которые помогут оценить платежную активность пользователей, посмотреть изменилась ли она.
- Прибыль с отдельного пользователя – сумма трат на все услуги
- Количество покупок – уникальные транзакции пользователя
- Частота покупок – время между двумя покупками
2 2. Проинтерпретируйте полученные результаты
2.0.1 START
| Records by tag | ||||
|---|---|---|---|---|
| control | test1 | test2 | test3 | test4 |
| 53292 | 56941 | 56205 | 56578 | 56534 |
| Users by tag | ||||
|---|---|---|---|---|
| control | test1 | test2 | test3 | test4 |
| 30117 | 31526 | 31104 | 31162 | 31195 |
быстро посмотрим эквивалентность групп для анализа. Размер групп примерно одинаковый, значит их можно сравнивать.
2.1 by category
| Average profit by group | |||||
|---|---|---|---|---|---|
| consumption_mode | control | test1 | test2 | test3 | test4 |
| dto | 63.82 (±55.37) | 62.46 (±52.9) | 63.93 (±55.33) | 63.13 (±53.49) | 62.57 (±53.87) |
| rent | 42.65 (±31.4) | 43.3 (±31.99) | 42.5 (±29.73) | 43.01 (±31.25) | 42.63 (±30.05) |
| subscription | 55.82 (±21.99) | 56.18 (±22.51) | 56.29 (±22.13) | 56.02 (±21.91) | 56.05 (±22.13) |
Download to Own и Subscription в среднем приносят больший доход во второй экспериментальной группе, однако от контрольной группы значение отличается меньше чем на процент.
Пользователи из 1 экспериментальной группы в среднем на 1.5% больше тратят на rent, чем контрольная. Это лучший результат.
| Покупок в каждой группе | |||||
|---|---|---|---|---|---|
| consumption_mode | control | test1 | test2 | test3 | test4 |
| dto | 1.62 (±1.3) | 1.62 (±1.28) | 1.64 (±1.33) | 1.64 (±1.3) | 1.63 (±1.31) |
| rent | 1.53 (±1.14) | 1.56 (±1.16) | 1.53 (±1.09) | 1.55 (±1.13) | 1.53 (±1.1) |
| subscription | 1.14 (±0.4) | 1.15 (±0.41) | 1.15 (±0.41) | 1.14 (±0.4) | 1.14 (±0.41) |
Большая часть пользователей совершила 1 или 2 покупки за время эксперимента, однако 2 и 3 экспериментальные группы чаще чем контрольная покупали контент.
Первая экспериментальная группа на 2% чаще брала контент в аренду.
Первая и вторая группы чаще чем контрольная стали оформлять подписку, однако разница меньше процента.
| Время между покупками | |||||
|---|---|---|---|---|---|
| consumption_mode | control | test1 | test2 | test3 | test4 |
| dto | 4.24 (±4.48) | 4.31 (±4.46) | 4.26 (±4.44) | 4.26 (±4.47) | 4.29 (±4.43) |
| rent | 4.15 (±4.58) | 4 (±4.5) | 4.06 (±4.49) | 3.96 (±4.47) | 4.11 (±4.61) |
| subscription | 5.94 (±5.3) | 6.03 (±5.33) | 5.92 (±5.33) | 5.95 (±5.32) | 5.91 (±5.35) |
Ни одна из экспериментальных групп не стала покупать контент с меньшими промежутками во времени, чем контрольная.
В аренду третья группа брала контент быстрее, чем контрольная, причём на 5%, если сравнивать с контрольной.
Вторая группа стала чуть чаще оформлять подписку.
| Суммарный доход по группе | |||||
|---|---|---|---|---|---|
| consumption_mode | control | test1 | test2 | test3 | test4 |
| dto | 745647.6 | 814410.5 | 813493.6 | 815754.8 | 829023.7 |
| rent | 490953.2 | 514290.0 | 506907.6 | 507090.7 | 498620.0 |
| subscription | 821376.4 | 851071.5 | 838201.1 | 845656.2 | 830814.6 |
Пользователи из 4 экспериментальной группы принесли больший суммарный доход в категории контент, который купили навсегда и хоть средняя покупка была чуть меньше чем в других тестовых группах, тут была меньше дисперсия. То есть, пользователи из группы 4 реже тратили совсем мало на вечные покупки.
Первая экспериментальная группа оказалась самой прибыльной по аренде контента и подпискам.
2.1.1 Микроитог
Если возможно только 1 изменение, то по результатам анализа можно рекомендовать распространить опыт первой группы на всю популяцию. Это увеличит доход с аренды на 5 процентов, а с подписок на 4%. И хоть доходы от контента, который купили навсегда увеличатся только на 9% (а не на 11% если использовать изменения из группы 4), общая совокупность принесёт больше.
3 3. (*) Проверьте полученные изменения на статзначимость
##
## Asymptotic General Independence Test
##
## data: price by
## tag (control, test1, test2, test3, test4)
## maxT = 5.3659, p-value = 2.814e-07
## alternative hypothesis: two.sidedСогласно тесту перестановок, между группами есть статистически значимая разница, однако любой классический тест при такой выборке скорее всего покажет стат значимость.
## Bayes factor analysis
## --------------
## [1] tag : 3.911147 ±0%
##
## Against denominator:
## Intercept only
## ---
## Bayes factor type: BFlinearModel, JZSСогласно байесовскому аналогу ановы, разница между группами отличается от нуля, но отличие очень маленькое.
Нарисуем парные тесты стьюдента
Что покупки в 1 группе, что в 4 статистически больше чем покупки пользователей в контрольной группе. Причём, между собой 1 и 4 группы отличаются минимально.
Итак, лучше использовать изменения из 1 группы.
3.1 PS
В дальнейшем можно проверить, как интервенция повлияла на разные категории (кластеры) пользователей, ибо при таком объёме данных можно выделить характеристики групп, которые негативно восприняли изменения, а так же есть шанс найти тех, кто стал покупать сильно чаще после начала эксперимента.