Effects

“Zehn Schülerinnen und Schüler haben im ersten Test im Mittel 47,5 Punkte erreicht. Nach gut drei Monaten Unterricht wird ein gleichwertiger Test durchgeführt. Im Mittel erreichen die Schülerinnen und Schüler 58,5 Punkte. Damit liegt der Lernfortschritt im Mittel bei 11 Punkten (genannt Mittelwertdifferenz). Im ersten Test haben die Einzelwerte nicht so stark gestreut wie im zweiten. In Zahlen: Die Standardabweichung im ersten Test fällt mit 15.14 Punkten geringer aus als im zweiten (20.55). Der Mittelwert der Standardabweichungen liegt in diesem Fall bei (15.14 + 20.55)/2, also bei 17,85 Punkten. Nun teilt man die Mittelwertdifferenz (11) durch diese gemittelte Standardabweichung (17,85). Das ergibt 0.62, was dann als Effektstärke bezeichnet wird.”

We conduct a simple simulation study with the values given in the example above.

m1 <- 47.5
m2 <- 58.5
sd1 <- 15.14
sd2 <- 20.55

# AR(1) covarianz, see
# https://stat.ethz.ch/pipermail/r-help/2007-May/131726.html
times <- 1:2
sigma <- c(sd1, sd2)
rho <- 1/sigma
H <- abs(outer(times, times, "-"))
V <- sigma * rho^H
p <- nrow(V)
V[cbind(1:p, 1:p)] <- V[cbind(1:p, 1:p)] * sigma

# simulate a few data sets and compute effects as explained in the example
library(mvtnorm)
rep <- 1000
ef <- array(, rep)
set.seed(77)
for (i in 1:rep) {
    r <- rmvnorm(10, c(m1, m2), V)
    m1.h <- mean(r[, 1])
    m2.h <- mean(r[, 2])
    sd1.h <- sd(r[, 1])
    sd2.h <- sd(r[, 2])
    ef[i] <- (m2.h - m1.h)/((sd1.h + sd2.h)/2)
}

Firstly we plot the obtained effect sizes.

plot(ef)

Then we compute a few statistics.

(m <- mean(ef))

## [1] 0.6266

(s <- sd(ef))

## [1] 0.5109

var(ef)

## [1] 0.261

c(m - 1.96 * s, m + 1.96 * s)

## [1] -0.3747  1.6279

c(m - 1.96 * s/sqrt(10), m + 1.96 * s/sqrt(10))

## [1] 0.3099 0.9432

Analytical solution with the R package compute.es.

library(compute.es)

mes(m2, m1, sd2, sd1, 10, 10)

##     EFFECT SIZE CALCULATION (FOR SINGLE INPUT)

## 
## Mean Differences ES: 
##  
##  d [ 95 %CI] = 0.61 [ -0.35 , 1.57 ] 
##   var(d) = 0.21 
##   p-value(d) = 0.2 
##   U3(d) = 72.89 % 
##   CLES(d) = 66.67 % 
##   Cliff's Delta = 0.33 
##  
##  g [ 95 %CI] = 0.58 [ -0.34 , 1.5 ] 
##   var(g) = 0.19 
##   p-value(g) = 0.2 
##   U3(g) = 72.03 % 
##   CLES(g) = 66.01 % 
##  
##  Correlation ES: 
##  
##  r [ 95 %CI] = 0.29 [ -0.21 , 0.67 ] 
##   var(r) = 0.04 
##   p-value(r) = 0.23 
##  
##  z [ 95 %CI] = 0.3 [ -0.21 , 0.81 ] 
##   var(z) = 0.06 
##   p-value(z) = 0.23 
##  
##  Odds Ratio ES: 
##  
##  OR [ 95 %CI] = 3.02 [ 0.53 , 17.27 ] 
##   p-value(OR) = 0.2 
##  
##  Log OR [ 95 %CI] = 1.11 [ -0.64 , 2.85 ] 
##   var(lOR) = 0.69 
##   p-value(Log OR) = 0.2 
##  
##  Other: 
##  
##  NNT = 3 
##  Total N = 20