Problema 5 - Relaciones entre la potencia

Introducción.

El análisis de la relación entre el tamaño de la muestra, el tamaño del efecto y la potencia estadística es crucial en el diseño de experimentos. La potencia de una prueba estadística representa la probabilidad de detectar una diferencia significativa cuando realmente existe, y depende tanto del tamaño de la muestra como del tamaño del efecto. En este estudio, se utiliza la prueba t de Student para evaluar cómo estas variables influyen en la capacidad de la prueba para detectar diferencias entre dos grupos.

Definición del problema.

El problema consiste en investigar la relación entre el tamaño del efecto y la potencia estadística en una prueba t de Student, tanto para muestras de tamaño igual como desbalanceado. Se busca determinar cómo los cambios en el tamaño del efecto, el tamaño muestral, y la configuración de los grupos impactan la capacidad de la prueba t para detectar diferencias significativas entre dos grupos.

En particular, se quiere evaluar cómo los desequilibrios en los tamaños de muestra entre los grupos afectan la potencia de la prueba, lo que puede aumentar el riesgo de cometer un error tipo II (no rechazar una hipótesis nula cuando es falsa).

Definición de los objetivos.

  • Caso 1: Estudiar cómo la potencia de una prueba t varía con diferentes tamaños del efecto (𝑑d) y tamaños de muestra (𝑛n), manteniendo constante el nivel de significancia (𝛼= 0.05 α=0.05).
  • Caso 2: Analizar cómo la potencia de la prueba t varía con tamaños de muestra desbalanceados entre los dos grupos, y cómo esto afecta la relación entre el tamaño del efecto y la potencia. Además, explorar cómo el nivel de significancia afecta la capacidad para detectar diferencias.
  • Comparar y visualizar las curvas de potencia bajo diferentes configuraciones de tamaño de muestra y tamaño del efecto.

Definición de las variables de interés.

  • Tamaño del efecto (𝑑d): La magnitud de la diferencia entre las medias de los dos grupos. En este análisis, varía de 0.1 a 2.0 en el Caso 1, y de 0 a 1 en el Caso 2.
  • Tamaño de la muestra (𝑛n): El número de observaciones en cada grupo. En el Caso 1, varía de 1 a 150. En el Caso 2, se evalúan varios tamaños muestrales desbalanceados (e.g.,𝑛1=28n1​=28,𝑛2=1406n2​=1406).
  • Potencia: La probabilidad de rechazar la hipótesis nula cuando la hipótesis alternativa es verdadera. En este análisis, es la variable de salida, calculada para cada combinación de tamaño del efecto y tamaño de muestra.
  • Nivel de significancia (𝛼α): El nivel de error tipo I permitido. Se fija en 0.05 en el análisis principal.

Diseño del experimento.

El diseño del experimento se basa en simulaciones de prueba t de Student para comparar dos muestras. Los tamaños de muestra y los tamaños del efecto se manipulan sistemáticamente para evaluar su influencia en la potencia. Se realizan dos casos:

  • Caso 1: Variando el tamaño de la muestra y el tamaño del efecto, manteniendo 𝛼=0.05α=0.05.
  • Caso 2: Variando el tamaño del efecto y utilizando muestras desbalanceadas, manteniendo 𝛼=0.05α=0.05.

Recolección de la información.

La información se genera a través de simulaciones en R. Se utiliza la función power.t.test para calcular la potencia de la prueba t bajo diferentes configuraciones de tamaños de muestra y tamaños del efecto. En el Caso 2, se emplea pwr.t2n.test para realizar simulaciones con tamaños de muestra desbalanceados.

Procesamiento de los datos.

Los datos generados en las simulaciones se almacenan en dataframes y luego se transforman de formato ancho a largo para facilitar su visualización. Las potencias no calculables se ajustan a 0, y se organizan los datos para trazarlos usando ggplot2. El procesamiento incluye la creación de tablas de potencia para diferentes configuraciones de tamaños muestrales y tamaños del efecto.

Análisis descriptivo o exploratorio de datos.

  • Probabilidad: Se explora la probabilidad de rechazar la hipótesis nula (potencia) bajo diferentes configuraciones. La potencia varía en función de los parámetros como el tamaño del efecto, el tamaño muestral, y el nivel de significancia.
  • Variable aleatoria: La potencia se comporta como una variable aleatoria que depende del tamaño de la muestra y el tamaño del efecto, ambos aleatorios en las simulaciones.

En los gráficos generados:

  • En Caso 1, la relación entre el tamaño del efecto y la potencia se visualiza para diferentes tamaños de muestra.
  • En Caso 2, las curvas de potencia se trazan para diferentes combinaciones de muestras desbalanceadas.
# ---------------------------------------------------------------------
# Caso 1: Variando los tamaños de los efectos d y el tamaño muestral
# ---------------------------------------------------------------------

# t-Test para modelar la relación entre tamaño de muestra y potencia
d <- seq(.1, 2, by = .1)  # 20 tamaños del efecto
n <- 1:150  # Tamaños muestrales

# Calcular potencia para cada combinación de tamaño del efecto y tamaño de muestra
t.test.power.effect <- as.data.frame(do.call("cbind", lapply(1:length(d), function(i) {
  sapply(1:length(n), function(j) {
    power.t.test(n = n[j], d = d[i], sig.level = 0.05, power = NULL, type = "two.sample")$power
  })
})))

# Ajustar NA a 0 para potencias no calculables
t.test.power.effect[is.na(t.test.power.effect)] <- 0
colnames(t.test.power.effect) <- paste(d, "effect size")

install.packages("reshape")
## Warning: package 'reshape' is in use and will not be installed
library("reshape")

# Graficar los resultados usando ggplot2
obj <- cbind(size = 1:150, t.test.power.effect)  # Agregar tamaño de muestra
melted <- cbind(reshape::melt(obj, id = "size"), effect = rep(d, each = 150))

# Graficar con ggplot2
p1 <- ggplot(data = melted, aes(x = size, y = value, color = as.factor(effect))) +
  geom_line(size = 0.7, alpha = .5) +
  ylab("Potencia") + 
  xlab("Tamaño muestral") + 
  ggtitle("Relación entre tamaño del efecto y potencia (t-Test)") +
  theme_bw() +
  scale_color_discrete(name = "Tamaño del efecto")
## Warning: Using `size` aesthetic for lines was deprecated in ggplot2 3.4.0.
## ℹ Please use `linewidth` instead.
## This warning is displayed once every 8 hours.
## Call `lifecycle::last_lifecycle_warnings()` to see where this warning was
## generated.
# Hacer el gráfico interactivo
plotly::ggplotly(p1)
# ---------------------------------------------------------------------
# Caso 2: Variando los tamaños muestrales desbalanceados
# ---------------------------------------------------------------------

# Generar cálculos de potencia para diferentes tamaños de muestra y niveles de significancia
n1_vals <- c(28, 144, 287, 430, 574, 717)  # Tamaños de muestra desbalanceados para n1
n2_vals <- 1434 - n1_vals  # Tamaños complementarios para n2
d_vals <- seq(0, 1, length.out = 200)  # Valores de tamaño del efecto

# Generar las potencias para cada combinación de n1, n2 y tamaño del efecto
ptab <- cbind(NULL, NULL)

for (i in d_vals) {
  pwrt1 <- pwr.t2n.test(n1 = 28, n2 = 1406, sig.level = 0.05, d = i, alternative = "two.sided")
  pwrt2 <- pwr.t2n.test(n1 = 144, n2 = 1290, sig.level = 0.05, d = i, alternative = "two.sided")
  pwrt3 <- pwr.t2n.test(n1 = 287, n2 = 1147, sig.level = 0.05, d = i, alternative = "two.sided")
  pwrt4 <- pwr.t2n.test(n1 = 430, n2 = 1004, sig.level = 0.05, d = i, alternative = "two.sided")
  pwrt5 <- pwr.t2n.test(n1 = 574, n2 = 860, sig.level = 0.05, d = i, alternative = "two.sided")
  pwrt6 <- pwr.t2n.test(n1 = 717, n2 = 717, sig.level = 0.05, d = i, alternative = "two.sided")
  
  ptab <- rbind(ptab, cbind(pwrt1$d, pwrt1$power, pwrt2$d, pwrt2$power,
                            pwrt3$d, pwrt3$power, pwrt4$d, pwrt4$power,
                            pwrt5$d, pwrt5$power, pwrt6$d, pwrt6$power))
}

# Convertir a data frame
ptab <- cbind(seq_len(nrow(ptab)), ptab)
colnames(ptab) <- c("id", "n1=28, n2=1406;effect size", "n1=28, n2=1406;power",
                    "n1=144, n2=1290;effect size", "n1=144, n2=1290;power",
                    "n1=287, n2=1147;effect size", "n1=287, n2=1147;power",
                    "n1=430, n2=1004;effect size", "n1=430, n2=1004;power",
                    "n1=574, n2=860;effect size", "n1=574, n2=860;power",
                    "n1=717, n2=717;effect size", "n1=717, n2=717;power")

# Manipular los datos para graficar con ggplot2
temp1 <- ptab %>% as.data.frame() %>% gather(key = name, value = val, 2:13)
temp2 <- temp1 %>% separate(col = name, into = c("samples", "pruebas"), sep = ";")
temp3 <- temp2 %>% spread(key = pruebas, value = val)

# Convertir "samples" a factor
temp3$samples <- factor(temp3$samples, 
                        levels = c("n1=28, n2=1406", "n1=144, n2=1290", 
                                   "n1=287, n2=1147", "n1=430, n2=1004",
                                   "n1=574, n2=860", "n1=717, n2=717"))


# Graficar las curvas de potencia
p2 <- ggplot(temp3, aes(x = `effect size`, y = power, color = samples)) +
  geom_line(size = 1) + 
  theme_bw() + 
  geom_vline(xintercept = .54, linetype = 2) + 
  geom_hline(yintercept = 0.80, linetype = 2) +
  labs(x = "Tamaño del efecto", y = "Potencia", title = "Curvas de potencia para diferentes tamaños muestrales") +
  scale_color_discrete(name = "Tamaño de la muestra")

# Hacer el gráfico interactivo
plotly::ggplotly(p2)

Inferencia estadística.

El análisis inferencial se basa en la potencia de la prueba t de Student. La potencia calculada para cada configuración de tamaño de muestra y tamaño del efecto permite inferir qué tan probable es detectar una diferencia significativa entre los grupos. La potencia aumenta a medida que aumenta el tamaño del efecto y el tamaño de la muestra.

  • En el Caso 2, los resultados sugieren que tamaños de muestra altamente desbalanceados, como 𝑛1=28n 1​=28 y 𝑛2=1406n2​=1406, requieren un tamaño del efecto superior a 0.54 para alcanzar una potencia aceptable (80%). Configuraciones más equilibradas tienden a tener una mayor potencia con tamaños del efecto más pequeños.

Conclusiones

  • A mayor tamaño del efecto, mayor es la potencia de la prueba t, lo que indica que las diferencias más grandes entre los grupos son más fáciles de detectar.
  • El tamaño de la muestra también influye directamente en la potencia: tamaños de muestra mayores conducen a una mayor potencia.
  • Configuraciones de muestras desbalanceadas (diferencia significativa entre 𝑛1n1​y𝑛2n2​) requieren tamaños de efecto mayores para alcanzar una potencia aceptable. Esto es particularmente evidente cuando 𝑛1n 1​ es muy pequeño en comparación con 𝑛2n 2​.

Recomendaciones.

  • Para garantizar una potencia estadística adecuada (superior al 80%), es importante planificar tamaños de muestra suficientes. Cuando los tamaños muestrales son muy desbalanceados, se debe considerar cuidadosamente el tamaño del efecto que se espera observar.
  • Se recomienda realizar estudios piloto para estimar de manera preliminar el tamaño del efecto y ajustar los tamaños muestrales en consecuencia.
  • En estudios con limitaciones de tamaño muestral, los investigadores deben tener cuidado al interpretar los resultados, ya que puede haber un mayor riesgo de cometer errores de tipo II si la potencia es baja.