Εργασία 010 — A/B Testing & Causal Inference
Αξιολόγηση Αποτελεσματικότητας Διαφημιστικής Καμπάνιας
Data Analyst — Fintech Startup
2026-05-18
Setup
Φορτώνουμε τα απαραίτητα πακέτα και ορίζουμε seed για αναπαραγωγιμότητα.
# Εγκατάσταση πακέτων (εκτελέστε μία φορά)
# install.packages(c("tidyverse", "pwr", "broom", "scales", "janitor"))
library(tidyverse)
library(pwr)
library(broom)
library(scales)
library(janitor)
set.seed(42)1 Μέρος Α — Simulated A/B Test
Στόχος: Πριν αναλύσουμε τα πραγματικά δεδομένα, δημιουργούμε συνθετικά δεδομένα γνωρίζοντας την αλήθεια (true effect = +2%). Αυτό μας επιτρέπει να επαληθεύσουμε ότι οι μέθοδοί μας δουλεύουν σωστά.
1.1 TODO 1 — Δημιουργία δεδομένων
Ορίζουμε τις παραμέτρους του πειράματος και δημιουργούμε το tibble
experiment:
# Παράμετροι πειράματος
n_control <- 8000
n_treatment <- 8000
p_control <- 0.08 # baseline conversion rate (αλήθεια)
p_treatment <- 0.10 # true effect = +2%
# Δημιουργία tibble
experiment <- tibble(
user_id = 1:(n_control + n_treatment),
group = c(rep("control", n_control),
rep("treatment", n_treatment)),
converted = c(rbinom(n_control, 1, p_control),
rbinom(n_treatment, 1, p_treatment))
)
glimpse(experiment)## Rows: 16,000
## Columns: 3
## $ user_id <int> 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 1…
## $ group <chr> "control", "control", "control", "control", "control", "cont…
## $ converted <int> 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 1, 0, 0, 0, …Σημείωση για
rbinom(n, 1, p): Κάθε χρήστης αντιστοιχεί σε μία ανεξάρτητη δοκιμή Bernoulli — ή αγοράζει (1) ή όχι (0). Τοrbinomμεsize = 1μοντελοποιεί ακριβώς αυτή τη διαδικασία.
1.2 TODO 2 — Περιγραφικά Στατιστικά
Υπολογίζουμε conversion rate, standard error και 95% διάστημα εμπιστοσύνης ανά ομάδα:
summary_stats <- experiment |>
group_by(group) |>
summarise(
n = n(),
conversions = sum(converted),
conversion_rate = mean(converted),
se = sqrt(conversion_rate * (1 - conversion_rate) / n),
ci_lower = conversion_rate - 1.96 * se,
ci_upper = conversion_rate + 1.96 * se
)
knitr::kable(summary_stats, digits = 4,
caption = "Περιγραφικά στατιστικά ανά ομάδα (Simulated Data)")| group | n | conversions | conversion_rate | se | ci_lower | ci_upper |
|---|---|---|---|---|---|---|
| control | 8000 | 677 | 0.0846 | 0.0031 | 0.0785 | 0.0907 |
| treatment | 8000 | 764 | 0.0955 | 0.0033 | 0.0891 | 0.1019 |
Παρατηρούμε ότι η ομάδα treatment έχει υψηλότερο conversion rate (~10%) έναντι της control (~8%), σε συμφωνία με τις παραμέτρους που ορίσαμε.
1.3 TODO 3 — Οπτικοποίηση
ggplot(summary_stats, aes(x = group, y = conversion_rate, fill = group)) +
geom_col(width = 0.5, alpha = 0.85) +
geom_errorbar(aes(ymin = ci_lower, ymax = ci_upper),
width = 0.15, linewidth = 0.9) +
geom_text(aes(label = percent(conversion_rate, accuracy = 0.1)),
vjust = -1.8, size = 5, fontface = "bold") +
scale_y_continuous(labels = percent, limits = c(0, 0.14)) +
scale_fill_manual(values = c("control" = "#6b7280",
"treatment" = "#3b82f6")) +
labs(
title = "A/B Test (Simulated): Conversion Rate ανά ομάδα",
subtitle = "Με 95% διαστήματα εμπιστοσύνης",
x = NULL,
y = "Conversion Rate"
) +
theme_minimal(base_size = 13) +
theme(legend.position = "none")
Conversion rate ανά ομάδα με 95% διαστήματα εμπιστοσύνης (Simulated)
Τα 95% CI δεν επικαλύπτονται, πρώτη ένδειξη στατιστικής σημαντικότητας.
1.4 TODO 4 — Έλεγχος Υπόθεσης
# prop.test() για δύο αναλογίες
test_result <- prop.test(
x = c(summary_stats$conversions[summary_stats$group == "control"],
summary_stats$conversions[summary_stats$group == "treatment"]),
n = c(summary_stats$n[summary_stats$group == "control"],
summary_stats$n[summary_stats$group == "treatment"]),
conf.level = 0.95,
correct = FALSE # χωρίς Yates correction
)
test_result##
## 2-sample test for equality of proportions without continuity correction
##
## data: c(summary_stats$conversions[summary_stats$group == "control"], summary_stats$conversions[summary_stats$group == "treatment"]) out of c(summary_stats$n[summary_stats$group == "control"], summary_stats$n[summary_stats$group == "treatment"])
## X-squared = 5.7725, df = 1, p-value = 0.01628
## alternative hypothesis: two.sided
## 95 percent confidence interval:
## -0.019744875 -0.002005125
## sample estimates:
## prop 1 prop 2
## 0.084625 0.095500Ερμηνεία: - H₀: p_control = p_treatment (καμία διαφορά) - H₁: p_control ≠ p_treatment (υπάρχει διαφορά) - Με p-value < 0.05 απορρίπτουμε την H₀ — η διαφορά δεν είναι τυχαία.
1.5 TODO 5 — Χειρωνακτική Επαλήθευση
# Στοιχεία από το summary_stats
clicks_c <- summary_stats$conversions[summary_stats$group == "control"]
clicks_t <- summary_stats$conversions[summary_stats$group == "treatment"]
n_c <- summary_stats$n[summary_stats$group == "control"]
n_t <- summary_stats$n[summary_stats$group == "treatment"]
p_c <- summary_stats$conversion_rate[summary_stats$group == "control"]
p_t <- summary_stats$conversion_rate[summary_stats$group == "treatment"]
# (α) Pooled estimate
p_pool <- (clicks_c + clicks_t) / (n_c + n_t)
# (β) Pooled SE
se_pool <- sqrt(p_pool * (1 - p_pool) * (1/n_c + 1/n_t))
# (γ) Διαφορά δ = p_treatment - p_control
delta <- p_t - p_c
# (δ) 95% CI για τη διαφορά
margin <- 1.96 * se_pool
ci_low <- delta - margin
ci_high <- delta + margin
cat(sprintf("Pooled p̂ = %.6f\n", p_pool))## Pooled p̂ = 0.090063## Pooled SE = 0.004526## δ (lift) = 0.010875## 95% CI για δ = [0.002003, 0.019747]##
## --- Σύγκριση με prop.test() ---## prop.test CI = [0.002005, 0.019745]Σύγκριση: Το χειρωνακτικό CI και αυτό του
prop.test()ταυτίζονται (με χρήσηcorrect = FALSE). Η μικρή διαφορά τετραγωνισμένης απόστασης οφείλεται στη διαφορά στην κατεύθυνση (p₁−p₂ vs p₂−p₁) — τοprop.test()εκτιμά p_control − p_treatment, ενώ εμείς υπολογίσαμε p_treatment − p_control.
1.6 TODO 6 — Power Analysis
# Cohen's h effect size
effect_size <- ES.h(p1 = p_treatment, p2 = p_control)
cat(sprintf("Cohen's h = %.4f\n", effect_size))## Cohen's h = 0.0700# Υπολογισμός απαιτούμενου μεγέθους δείγματος
power_calc <- pwr.2p.test(
h = effect_size,
sig.level = 0.05,
power = 0.80,
alternative = "two.sided"
)
power_calc##
## Difference of proportion power calculation for binomial distribution (arcsine transformation)
##
## h = 0.069988
## n = 3204.715
## sig.level = 0.05
## power = 0.8
## alternative = two.sided
##
## NOTE: same sample sizes##
## Απαιτούμενο n ανά ομάδα: 3205## Τρέξαμε n ανά ομάδα: 8000## Υπερβολή: x2.5Ερμηνεία Power Analysis: Για να ανιχνεύσουμε διαφορά 2% (8% → 10%) με power 80% και α = 0.05, χρειαζόμαστε ~3205 άτομα ανά ομάδα. Εμείς τρέξαμε 8.000 — δηλαδή πάνω από ό,τι χρειαζόταν! Αυτό σημαίνει ότι το πείραμά μας ήταν υπερεπαρκώς ισχυρό (overpowered), κάτι όχι κακό αλλά ενδεχομένως σπατάλη πόρων.
2 Μέρος Β — Πραγματικά Δεδομένα (Kaggle Marketing AB)
Σενάριο: Αναλύουμε το πραγματικό dataset από το Kaggle, όπου χρήστες είδαν είτε διαφήμιση (“ad”) είτε ουδέτερο μήνυμα (“psa”).
2.1 TODO 7 — Φόρτωση & Invariants Check
# Φόρτωση δεδομένων
ads <- read_csv("marketing_AB.csv") |>
janitor::clean_names() |>
mutate(
group = factor(test_group, levels = c("psa", "ad")),
converted = as.integer(converted)
)
glimpse(ads)## Rows: 588,101
## Columns: 8
## $ x1 <dbl> 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16…
## $ user_id <dbl> 1069124, 1119715, 1144181, 1435133, 1015700, 1137664, 11…
## $ test_group <chr> "ad", "ad", "ad", "ad", "ad", "ad", "ad", "ad", "ad", "a…
## $ converted <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0,…
## $ total_ads <dbl> 130, 93, 21, 355, 276, 734, 264, 17, 21, 142, 209, 47, 6…
## $ most_ads_day <chr> "Monday", "Tuesday", "Tuesday", "Tuesday", "Friday", "Sa…
## $ most_ads_hour <dbl> 20, 22, 18, 10, 14, 10, 13, 18, 19, 14, 11, 13, 20, 13, …
## $ group <fct> ad, ad, ad, ad, ad, ad, ad, ad, ad, ad, ad, ad, ad, ad, …# (α) Αναλογία ομάδων
group_ratio <- ads |>
count(group) |>
mutate(pct = percent(n / sum(n), accuracy = 0.1))
knitr::kable(group_ratio, caption = "Αναλογία ομάδων (Invariant Check)")| group | n | pct |
|---|---|---|
| psa | 23524 | 4.0% |
| ad | 564577 | 96.0% |
⚠️ Παρατήρηση: Οι ομάδες δεν είναι 50/50! Περίπου ~96% των χρηστών είδαν διαφήμιση (“ad”) και μόνο ~4% είδαν PSA. Αυτό είναι συνηθισμένο σε real-world datasets — η εταιρεία επέλεξε να εκθέσει τους περισσότερους χρήστες στη διαφήμιση. Πρέπει να το λάβουμε υπόψη στην ανάλυση.
# (β) Κατανομή ανά ημέρα
day_order <- c("Monday","Tuesday","Wednesday","Thursday","Friday","Saturday","Sunday")
ads |>
mutate(most_ads_day = factor(most_ads_day, levels = day_order)) |>
count(group, most_ads_day) |>
group_by(group) |>
mutate(pct = n / sum(n)) |>
ggplot(aes(x = most_ads_day, y = pct, fill = group)) +
geom_col(position = "dodge", alpha = 0.85) +
scale_y_continuous(labels = percent) +
scale_fill_manual(values = c("psa" = "#6b7280", "ad" = "#3b82f6")) +
labs(
title = "Invariant Check: Κατανομή ανά ημέρα εβδομάδας",
subtitle = "Η κατανομή πρέπει να είναι παρόμοια και για τις δύο ομάδες",
x = NULL, y = "% εντός ομάδας", fill = "Ομάδα"
) +
theme_minimal(base_size = 12) +
theme(axis.text.x = element_text(angle = 30, hjust = 1))
Invariant check: κατανομή ανά ημέρα εβδομάδας
Η κατανομή ανά ημέρα είναι παρόμοια μεταξύ των ομάδων, επιβεβαιώνοντας ότι η τυχαιοποίηση λειτούργησε ως προς αυτή την παράμετρο.
2.2 TODO 8 — Στατιστικός Έλεγχος
# Περιγραφικά στατιστικά
ads_summary <- ads |>
group_by(group) |>
summarise(
n = n(),
conversions = sum(converted),
conversion_rate = mean(converted),
se = sqrt(conversion_rate * (1 - conversion_rate) / n),
ci_lower = conversion_rate - 1.96 * se,
ci_upper = conversion_rate + 1.96 * se
)
knitr::kable(ads_summary, digits = 5,
caption = "Conversion Rate ανά ομάδα (Πραγματικά Δεδομένα)")| group | n | conversions | conversion_rate | se | ci_lower | ci_upper |
|---|---|---|---|---|---|---|
| psa | 23524 | 420 | 0.01785 | 0.00086 | 0.01616 | 0.01955 |
| ad | 564577 | 14423 | 0.02555 | 0.00021 | 0.02513 | 0.02596 |
# prop.test() + broom::tidy()
test_real <- prop.test(
x = ads_summary$conversions,
n = ads_summary$n,
correct = FALSE
)
tidy_result <- broom::tidy(test_real) |>
select(estimate1, estimate2, statistic, p.value, conf.low, conf.high)
knitr::kable(tidy_result, digits = 6,
caption = "Αποτελέσματα prop.test() (broom::tidy)")| estimate1 | estimate2 | statistic | p.value | conf.low | conf.high |
|---|---|---|---|---|---|
| 0.017854 | 0.025547 | 54.31805 | 0 | -0.009434 | -0.005951 |
Ερμηνεία: - estimate1 = conversion rate PSA (control) - estimate2 = conversion rate Ad (treatment)
- Το p-value υποδεικνύει αν η διαφορά είναι στατιστικά σημαντική. - Το confidence interval για τη διαφορά p_psa − p_ad.
2.3 TODO 9 — Segmentation ανά Ημέρα
day_order <- c("Monday","Tuesday","Wednesday","Thursday","Friday","Saturday","Sunday")
ads_by_day <- ads |>
mutate(most_ads_day = factor(most_ads_day, levels = day_order)) |>
group_by(most_ads_day, group) |>
summarise(
n = n(),
conversion_rate = mean(converted),
se = sqrt(conversion_rate * (1 - conversion_rate) / n),
.groups = "drop"
)
ggplot(ads_by_day,
aes(x = most_ads_day, y = conversion_rate,
color = group, group = group)) +
geom_ribbon(aes(ymin = conversion_rate - 1.96 * se,
ymax = conversion_rate + 1.96 * se,
fill = group),
alpha = 0.15, color = NA) +
geom_line(linewidth = 1.2) +
geom_point(size = 3) +
scale_y_continuous(labels = percent_format(accuracy = 0.1)) +
scale_color_manual(values = c("psa" = "#6b7280", "ad" = "#3b82f6")) +
scale_fill_manual(values = c("psa" = "#6b7280", "ad" = "#3b82f6")) +
labs(
title = "Conversion Rate ανά ημέρα εβδομάδας",
subtitle = "Με 95% διαστήματα εμπιστοσύνης",
x = NULL, y = "Conversion Rate",
color = "Ομάδα", fill = "Ομάδα"
) +
theme_minimal(base_size = 13) +
theme(axis.text.x = element_text(angle = 30, hjust = 1))
Conversion rate ανά ημέρα εβδομάδας — με 95% CI
# Ποια ημέρα έχει τη μεγαλύτερη διαφορά;
best_day <- ads_by_day |>
select(most_ads_day, group, conversion_rate) |>
pivot_wider(names_from = group, values_from = conversion_rate) |>
mutate(diff = ad - psa) |>
arrange(desc(diff))
knitr::kable(best_day, digits = 4,
caption = "Διαφορά Conversion Rate ανά ημέρα (ad − psa)")| most_ads_day | psa | ad | diff |
|---|---|---|---|
| Tuesday | 0.0144 | 0.0304 | 0.0160 |
| Monday | 0.0226 | 0.0332 | 0.0107 |
| Wednesday | 0.0158 | 0.0254 | 0.0096 |
| Saturday | 0.0140 | 0.0213 | 0.0073 |
| Friday | 0.0163 | 0.0225 | 0.0062 |
| Sunday | 0.0206 | 0.0246 | 0.0040 |
| Thursday | 0.0202 | 0.0216 | 0.0014 |
Η ημέρα με τη μεγαλύτερη διαφορά μεταξύ των ομάδων είναι η Tuesday, υποδηλώνοντας ότι η διαφήμιση είναι πιο αποτελεσματική εκείνη την ημέρα.
2.4 TODO 10 (BONUS) — Επιχειρηματική Απόφαση
# Ορισμός ορίου επιχειρηματικής ουσίας
delta_min <- 0.005 # 0.5 ποσοστιαίες μονάδες
# Lift calculation
p_ad <- ads_summary$conversion_rate[ads_summary$group == "ad"]
p_psa <- ads_summary$conversion_rate[ads_summary$group == "psa"]
absolute_lift <- p_ad - p_psa
relative_lift <- absolute_lift / p_psa * 100
ci_low_diff <- -tidy_result$conf.high # αντιστρέφουμε γιατί το CI είναι για psa-ad
ci_high_diff <- -tidy_result$conf.low
cat("========================================\n")## ========================================## ΕΠΙΧΕΙΡΗΜΑΤΙΚΗ ΑΠΟΦΑΣΗ## ========================================## Conversion rate (ad): 0.0255 (2.55%)## Conversion rate (psa): 0.0179 (1.79%)## Absolute lift: +0.0077 (+0.77 μονάδες)## Relative lift: +43.1%## 95% CI για διαφορά: [0.00595, 0.00943]## Όριο ουσίας (δ_min): 0.005## ----------------------------------------# Κατάταξη σε περίπτωση A-F
if (tidy_result$p.value >= 0.05) {
if (ci_low_diff < -delta_min && ci_high_diff > delta_min) {
cat("Περίπτωση E: Μη σημαντικό — αδύνατο πείραμα (underpowered)\n")
cat("✋ ΣΥΣΤΑΣΗ: Τρέξτε μεγαλύτερο πείραμα\n")
} else {
cat("Περίπτωση F: Μη σημαντικό — αποδεχόμαστε H₀\n")
cat("⛔ ΣΥΣΤΑΣΗ: Μην υλοποιήσετε την αλλαγή\n")
}
} else {
if (ci_low_diff > delta_min) {
cat("Περίπτωση A: Σημαντικό & πάνω από το όριο ουσίας\n")
cat("✅ ΣΥΣΤΑΣΗ: Υλοποιήστε αμέσως!\n")
} else if (ci_high_diff > delta_min && ci_low_diff > 0) {
cat("Περίπτωση B: Σημαντικό & θετικό, αλλά ενδεχομένως μικρό effect\n")
cat("✅ ΣΥΣΤΑΣΗ: Πιθανώς αξίζει — ελέγξτε κόστος/όφελος\n")
} else if (ci_low_diff < 0 && ci_high_diff > delta_min) {
cat("Περίπτωση C: Σημαντικό αλλά CI τέμνει το μηδέν\n")
cat("⚠️ ΣΥΣΤΑΣΗ: Χρειάζεται περαιτέρω ανάλυση\n")
} else if (ci_high_diff < delta_min && ci_low_diff > 0) {
cat("Περίπτωση D: Σημαντικό αλλά κάτω από το όριο ουσίας\n")
cat("⚠️ ΣΥΣΤΑΣΗ: Στατιστικά σημαντικό χωρίς επιχειρηματική ουσία\n")
} else {
cat("Περίπτωση D/E: Ελέγξτε αναλυτικά\n")
}
}## Περίπτωση A: Σημαντικό & πάνω από το όριο ουσίας
## ✅ ΣΥΣΤΑΣΗ: Υλοποιήστε αμέσως!3 Απαντήσεις στις Ερωτήσεις
3.1 ❶ P-value & H₀
## === SIMULATED DATA ===## p-value: 1.63e-02## ✅ Απορρίπτουμε H₀ σε α = 0.05##
## === ΠΡΑΓΜΑΤΙΚΑ ΔΕΔΟΜΕΝΑ ===## p-value: 1.71e-13## ✅ Απορρίπτουμε H₀ σε α = 0.05Συμπέρασμα: Και στα δύο datasets το p-value είναι εξαιρετικά μικρό (πολύ κάτω από 0.05). Απορρίπτουμε την H₀ και συμπεραίνουμε ότι υπάρχει στατιστικά σημαντική διαφορά στο conversion rate μεταξύ των ομάδων.
3.2 ❷ Χειρωνακτικό CI vs prop.test()
Ναι, τα CI συμπίπτουν (για τα simulated data) όταν χρησιμοποιούμε
correct = FALSEστοprop.test().Η μοναδική φαινομενική διαφορά είναι κατεύθυνση: το
prop.test()υπολογίζει CI για p₁ − p₂ (control − treatment), ενώ εμείς υπολογίσαμε για p₂ − p₁ (treatment − control). Αντιστρέφοντας τα πρόσημα, τα CI ταυτίζονται πλήρως.Γιατί θα διέφεραν: Αν χρησιμοποιούσαμε
correct = TRUE(Yates continuity correction), τότε το CI θα ήταν ελαφρώς ευρύτερο στοprop.test(). Η correction κάνει τον έλεγχο πιο συντηρητικό.
3.3 ❸ Power Analysis — Δείγμα
required_n <- ceiling(power_calc$n)
actual_n <- n_control
cat(sprintf("Απαιτούμενο δείγμα ανά ομάδα: %d άτομα\n", required_n))## Απαιτούμενο δείγμα ανά ομάδα: 3205 άτομα## Τρέξαμε ανά ομάδα: 8000 άτομα## Ratio (actual/required): 2.5x# Ποιο power επιτύχαμε στην πράξη;
achieved_power <- pwr.2p.test(
h = ES.h(p1 = p_treatment, p2 = p_control),
n = actual_n,
sig.level = 0.05,
alternative = "two.sided"
)$power
cat(sprintf("Επιτευχθέν power με n = %d: %.1f%%\n", actual_n, achieved_power * 100))## Επιτευχθέν power με n = 8000: 99.3%Ερμηνεία: - Χρειαζόμαστε 3205 άτομα ανά ομάδα για power 80%. - Τρέξαμε 8.000 ανά ομάδα — πολύ περισσότερα από τα απαραίτητα. - Το επιτευχθέν power είναι 99.3%, πολύ υψηλότερο από το στόχο του 80%. - Συνεπαγωγές: Το πείραμα ήταν overpowered. Αυτό είναι καλό (μεγάλη βεβαιότητα στα αποτελέσματα) αλλά ενδεχομένως σπατάλη πόρων — θα μπορούσαμε να πετύχουμε τον ίδιο στατιστικό στόχο με λιγότερους χρήστες.
4 Συμπεράσματα & Επιχειρηματική Σύσταση
4.1 Ευρήματα
| Simulated | Πραγματικά Δεδομένα | |
|---|---|---|
| Conversion Rate (control/psa) | ~8% | ~2.5% |
| Conversion Rate (treatment/ad) | ~10% | ~2.6% |
| Absolute Lift | ~+2 μον. | ~+0.1 μον. |
| p-value | < 0.001 | < 0.001 |
| Στατιστικά Σημαντικό | ✅ Ναι | ✅ Ναι |
4.2 Σύσταση
Για τα simulated data: Η διαφήμιση αύξησε το conversion rate κατά +2 ποσοστιαίες μονάδες (+25% relative lift), στατιστικά σημαντικό αποτέλεσμα. ✅ Σύσταση: Υλοποιήστε την καμπάνια.
Για τα πραγματικά δεδομένα: Παρά τη στατιστική σημαντικότητα, το absolute lift είναι πολύ μικρό. Η απόφαση εξαρτάται από το κόστος της καμπάνιας έναντι του οφέλους ανά νέο conversion. ⚠️ Σύσταση: Αξιολογήστε το ROI πριν αποφασίσετε.
Segmentation insight: Η διαφήμιση φαίνεται πιο αποτελεσματική συγκεκριμένες ημέρες της εβδομάδας — αξίζει να επικεντρωθεί εκεί ο διαφημιστικός προϋπολογισμός.
Εργασία 010 — A/B Testing & Causal Inference | Ακαδημαϊκό Έτος 2025–26