Actividad 2
Luz Carime Lucumí Hernández
Luis Carlos Martinez Martinez
2024-09-06
Problema 5
Relaciones entre la potencia, el tamaño de los efectos y el tamaño de la muestra
El “efecto del tamaño” (o “tamaño del efecto”, en inglés “effect size”) en el contexto de la prueba de hipótesis se refiere a la magnitud de la diferencia o la fuerza de la relación que se está investigando entre las variables. En otras palabras, mide la cantidad de cambio o la importancia práctica de los resultados, más allá de simplemente determinar si una diferencia es estadísticamente significativa. El tamaño del efecto es crucial porque, incluso si una prueba estadística muestra que un resultado es significativo (es decir, rechazas la hipótesis nula), el tamaño del efecto te dice si esa diferencia es realmente importante en un sentido práctico o clínico. Por ejemplo, un estudio podría encontrar que un nuevo medicamento reduce la presión arterial de manera estadísticamente significativa, pero el tamaño del efecto te indicaría si la reducción es lo suficientemente grande como para tener relevancia clínica. En resumen, el tamaño del efecto proporciona una medida complementaria a la significancia estadística, ayudando a interpretar el verdadero impacto o importancia de los resultados encontrados.
En este problema, nos centraremos en una aplicación que requiere la aplicación de la prueba t de Student para comparar las medias entre dos grupos. En este contexto evaluaremos cómo el efecto de los tamaños o las diferencias en los tamaños muestrales de los grupos influyen en la potencia de la prueba. De manera formal, la potencia se define como la probabilidad de rechazar la hipótesis nula cuando la hipótesis alternativa es verdadera. De forma más coloquial, la potencia es la capacidad de una prueba estadística para identificar un efecto si este realmente existe. En general, desequilibrios muy marcados en los tamaños de muestra tienden a reducir la potencia estadística, incluso cuando se asocian con tamaños de efecto considerables, lo que aumenta la probabilidad de cometer un error de tipo II. Para fundamentar esta afirmación, debes analizar diferentes resultados computacionales que se presentan a continuación.
Caso 1: Variando los tamaños de los efectos (d)
En los códigos del archivo llamado caso1.R, para cada tamaño fijo de los efectos 𝑑 , se modela la relación entre el tamaño muestral y la potencia (manteniendo constante el nivel de significancia 𝛼=0.05). En las figuras se visualizan los resultados para tamaño de efecto muy pequeño (𝑑=0.1), pequeño (𝑑=0.2), mediano (𝑑=0.5) y grande (𝑑=0.8). Repite el análisis usando 5 valores distintos del nivel de significancia. ¿Cambian los resultados? ¿Qué ocurre cuando el tamaño de muestra de los grupos que se comparan es de 20, 60, 100 y 140? Analiza y compara los resultados.
## Warning in par(fig = c(0, 0.8, 0, 1), new = TRUE): calling par(new=TRUE) with
## no plot
Solución Caso 1
Análisis de gráfico inicial
1. Relación entre Tamaño de Efecto y Potencia:
- Tamaño del Efecto Grande: A medida que el tamaño del efecto aumenta, la potencia de la prueba también aumenta, lo que significa que con un tamaño del efecto más grande se necesita un tamaño muestral menor para alcanzar una potencia alta.
- Tamaño del Efecto Pequeño: Para tamaños del efecto pequeños, se necesita un tamaño muestral mucho mayor para obtener una potencia adecuada.
2. Impacto del Tamaño Muestral:
- Tamaño Muestral Pequeño: La potencia es baja para todos los tamaños de efecto si el tamaño muestral es pequeño. Esto significa que es menos probable detectar un efecto significativo con una muestra pequeña.
- Tamaño Muestral Grande: A medida que el tamaño muestral aumenta, la potencia de la prueba aumenta para todos los tamaños de efecto. Esto demuestra que un tamaño muestral mayor ayuda a detectar diferencias pequeñas.
Tabulado, gráfico y conclusiones por nivel de significancia
1. Nivel de Significancia α = 0.01
##
##
## | | Nivel_Significancia| Tamaño_Efecto| Tamaño_Muestra| Potencia|
## |:------------|-------------------:|-------------:|--------------:|--------:|
## |0.01_0.1_20 | 0.01| 0.1| 20| 0.012|
## |0.01_0.1_60 | 0.01| 0.1| 60| 0.021|
## |0.01_0.1_100 | 0.01| 0.1| 100| 0.030|
## |0.01_0.1_140 | 0.01| 0.1| 140| 0.041|
## |0.01_0.2_20 | 0.01| 0.2| 20| 0.024|
## |0.01_0.2_60 | 0.01| 0.2| 60| 0.067|
## |0.01_0.2_100 | 0.01| 0.2| 100| 0.120|
## |0.01_0.2_140 | 0.01| 0.2| 140| 0.181|
## |0.01_0.5_20 | 0.01| 0.5| 20| 0.144|
## |0.01_0.5_60 | 0.01| 0.5| 60| 0.549|
## |0.01_0.5_100 | 0.01| 0.5| 100| 0.824|
## |0.01_0.5_140 | 0.01| 0.5| 140| 0.943|
## |0.01_0.8_20 | 0.01| 0.8| 20| 0.438|
## |0.01_0.8_60 | 0.01| 0.8| 60| 0.959|
## |0.01_0.8_100 | 0.01| 0.8| 100| 0.999|
## |0.01_0.8_140 | 0.01| 0.8| 140| 1.000|
Con un nivel de significancia de 0.01, la potencia de la prueba es baja, incluso con tamaños de muestra grandes. Se necesita un tamaño de muestra muy grande para alcanzar potencias aceptables, especialmente para tamaños de efecto pequeños; lo que asegura un bajo riesgo de errores tipo I, pero limita la capacidad de detectar efectos reales.
2. Nivel de Significancia α = 0.07
##
##
## | | Nivel_Significancia| Tamaño_Efecto| Tamaño_Muestra| Potencia|
## |:------------|-------------------:|-------------:|--------------:|--------:|
## |0.07_0.1_20 | 0.07| 0.1| 20| 0.066|
## |0.07_0.1_60 | 0.07| 0.1| 60| 0.102|
## |0.07_0.1_100 | 0.07| 0.1| 100| 0.134|
## |0.07_0.1_140 | 0.07| 0.1| 140| 0.164|
## |0.07_0.2_20 | 0.07| 0.2| 20| 0.116|
## |0.07_0.2_60 | 0.07| 0.2| 60| 0.235|
## |0.07_0.2_100 | 0.07| 0.2| 100| 0.343|
## |0.07_0.2_140 | 0.07| 0.2| 140| 0.443|
## |0.07_0.5_20 | 0.07| 0.5| 20| 0.396|
## |0.07_0.5_60 | 0.07| 0.5| 60| 0.818|
## |0.07_0.5_100 | 0.07| 0.5| 100| 0.956|
## |0.07_0.5_140 | 0.07| 0.5| 140| 0.991|
## |0.07_0.8_20 | 0.07| 0.8| 20| 0.746|
## |0.07_0.8_60 | 0.07| 0.8| 60| 0.994|
## |0.07_0.8_100 | 0.07| 0.8| 100| 1.000|
## |0.07_0.8_140 | 0.07| 0.8| 140| 1.000|
Un nivel de significancia de 0.07 proporciona un equilibrio moderado entre potencia y riesgo de error tipo I. La potencia es más alta que con α = 0.01 para tamaños de muestra similares, lo que permite una detección más efectiva de efectos reales con tamaños de muestra moderados.
3. Nivel de Significancia α = 0.10
##
##
## | | Nivel_Significancia| Tamaño_Efecto| Tamaño_Muestra| Potencia|
## |:-----------|-------------------:|-------------:|--------------:|--------:|
## |0.1_0.1_20 | 0.1| 0.1| 20| 0.091|
## |0.1_0.1_60 | 0.1| 0.1| 60| 0.136|
## |0.1_0.1_100 | 0.1| 0.1| 100| 0.174|
## |0.1_0.1_140 | 0.1| 0.1| 140| 0.209|
## |0.1_0.2_20 | 0.1| 0.2| 20| 0.153|
## |0.1_0.2_60 | 0.1| 0.2| 60| 0.289|
## |0.1_0.2_100 | 0.1| 0.2| 100| 0.407|
## |0.1_0.2_140 | 0.1| 0.2| 140| 0.510|
## |0.1_0.5_20 | 0.1| 0.5| 20| 0.463|
## |0.1_0.5_60 | 0.1| 0.5| 60| 0.859|
## |0.1_0.5_100 | 0.1| 0.5| 100| 0.970|
## |0.1_0.5_140 | 0.1| 0.5| 140| 0.994|
## |0.1_0.8_20 | 0.1| 0.8| 20| 0.799|
## |0.1_0.8_60 | 0.1| 0.8| 60| 0.997|
## |0.1_0.8_100 | 0.1| 0.8| 100| 1.000|
## |0.1_0.8_140 | 0.1| 0.8| 140| 1.000|
Con un nivel de significancia de 0.10, la potencia es alta incluso con tamaños de muestra relativamente pequeños. Aunque permite detectar efectos con menos datos, el aumento en el riesgo de errores tipo I se debe considerar.
4. Nivel de Significancia α = 0.15
##
##
## | | Nivel_Significancia| Tamaño_Efecto| Tamaño_Muestra| Potencia|
## |:------------|-------------------:|-------------:|--------------:|--------:|
## |0.15_0.1_20 | 0.15| 0.1| 20| 0.130|
## |0.15_0.1_60 | 0.15| 0.1| 60| 0.186|
## |0.15_0.1_100 | 0.15| 0.1| 100| 0.231|
## |0.15_0.1_140 | 0.15| 0.1| 140| 0.273|
## |0.15_0.2_20 | 0.15| 0.2| 20| 0.207|
## |0.15_0.2_60 | 0.15| 0.2| 60| 0.364|
## |0.15_0.2_100 | 0.15| 0.2| 100| 0.488|
## |0.15_0.2_140 | 0.15| 0.2| 140| 0.591|
## |0.15_0.5_20 | 0.15| 0.5| 20| 0.548|
## |0.15_0.5_60 | 0.15| 0.5| 60| 0.901|
## |0.15_0.5_100 | 0.15| 0.5| 100| 0.982|
## |0.15_0.5_140 | 0.15| 0.5| 140| 0.997|
## |0.15_0.8_20 | 0.15| 0.8| 20| 0.854|
## |0.15_0.8_60 | 0.15| 0.8| 60| 0.998|
## |0.15_0.8_100 | 0.15| 0.8| 100| 1.000|
## |0.15_0.8_140 | 0.15| 0.8| 140| 1.000|
Un nivel de significancia de 0.15 resulta en una potencia extremadamente alta con tamaños de muestra pequeños. Aunque esto puede ser beneficioso en estudios con recursos limitados, el alto riesgo de errores tipo I debe ser gestionado cuidadosamente.
5. Nivel de Significancia α = 0.20
##
##
## | | Nivel_Significancia| Tamaño_Efecto| Tamaño_Muestra| Potencia|
## |:-----------|-------------------:|-------------:|--------------:|--------:|
## |0.2_0.1_20 | 0.2| 0.1| 20| 0.166|
## |0.2_0.1_60 | 0.2| 0.1| 60| 0.231|
## |0.2_0.1_100 | 0.2| 0.1| 100| 0.282|
## |0.2_0.1_140 | 0.2| 0.1| 140| 0.328|
## |0.2_0.2_20 | 0.2| 0.2| 20| 0.256|
## |0.2_0.2_60 | 0.2| 0.2| 60| 0.425|
## |0.2_0.2_100 | 0.2| 0.2| 100| 0.552|
## |0.2_0.2_140 | 0.2| 0.2| 140| 0.651|
## |0.2_0.5_20 | 0.2| 0.5| 20| 0.611|
## |0.2_0.5_60 | 0.2| 0.5| 60| 0.926|
## |0.2_0.5_100 | 0.2| 0.5| 100| 0.988|
## |0.2_0.5_140 | 0.2| 0.5| 140| 0.998|
## |0.2_0.8_20 | 0.2| 0.8| 20| 0.889|
## |0.2_0.8_60 | 0.2| 0.8| 60| 0.999|
## |0.2_0.8_100 | 0.2| 0.8| 100| 1.000|
## |0.2_0.8_140 | 0.2| 0.8| 140| 1.000|
Con un nivel de significancia de 0.20, la potencia es máxima incluso con tamaños de muestra muy pequeños. Sin embargo, el riesgo de errores tipo I es muy alto, lo que puede comprometer la validez de los resultados.
¿Qué ocurre cuando el tamaño de muestra de los grupos que se comparan es de 20, 60, 100 y 140? Analiza y compara los resultados
- Tamaño de Muestra Pequeño (20): Requiere niveles de significancia más altos para mejorar la potencia. No es suficiente para detectar tamaños de efecto pequeños con alta certeza.
- Tamaño de Muestra Moderado (60): Ofrece una buena potencia para detectar tamaños de efecto medianos y algunos pequeños, especialmente con niveles de significancia más altos.
- Tamaño de Muestra Grande (100): Proporciona una excelente potencia para detectar todos los tamaños de efecto, siendo adecuado para todos los niveles de significancia.
- Tamaño de Muestra Muy Grande (140): Ofrece la máxima potencia para todos los tamaños de efecto. Adecuado para todos los niveles de significancia, pero puede ser excesivo para los niveles más altos de significancia.
Conclusiones
Relación entre nivel de significancia y potencia: A medida que el nivel de significancia aumenta, la potencia de la prueba t también aumenta, permitiendo detectar efectos con tamaños de muestra más pequeños. Esto, sin embargo, aumenta el riesgo de errores tipo I (falsos positivos).
Tamaño de muestra y potencia: Un tamaño de muestra mayor siempre contribuye a una mayor potencia. Niveles de significancia más altos permiten una mayor potencia con tamaños de muestra menores, pero a expensas de un mayor riesgo de errores tipo I.
Equilibrio entre potencia y riesgo de error tipo I: Es crucial equilibrar la potencia y el riesgo de error tipo I. Niveles de significancia bajos requieren tamaños de muestra grandes para una potencia aceptable, mientras que niveles más altos permiten una alta potencia con tamaños de muestra menores, pero con mayor riesgo de errores tipo I.
Decisiones de diseño de estudio: De acuerdo al contexto del estudio, se deben considerar las decisiones sobre el nivel de significancia y el tamaño de muestra, teniendo en cuenta tanto la capacidad para detectar efectos reales como la tolerancia al riesgo de errores tipo I.
Diferentes niveles de significancia afectan la potencia de una prueba y ayudan en la planificación y diseño de estudios para optimizar el equilibrio entre la detección de efectos reales y el control de errores.
Caso 2: Variando los tamaños muestrales
En los códigos del archivo llamado caso2.R, se modela la relación entre el tamaño del efecto 𝑑 y la potencia (manteniendo constante el nivel de significancia 𝛼=0.05). Para ello, se considera los siguientes tamaños de muestra, donde 𝑛1 es el número de sujetos en el grupo 1 y 𝑛2 es el número de sujetos en el grupo 2:
- 𝑛1=28, 𝑛2=1406 : 𝑛1 representa el 2% del tamaño total de la muestra de 1434.
- 𝑛1=144, 𝑛2=1290 : 𝑛1 representa el 10% del tamaño total de la muestra de 1434.
- 𝑛1=287, 𝑛2=1147 : 𝑛1 representa el 20% del tamaño total de la muestra de 1434.
- 𝑛1=430, 𝑛2=1004 : 𝑛1 representa el 30% del tamaño total de la muestra de 1434.
- 𝑛1=574, 𝑛2=860 : 𝑛1 representa el 40% del tamaño total de la muestra de 1434.
- 𝑛1=717, 𝑛2=717 : grupos de igual tamaño (esto es óptimo porque conduce a la potencia más alta para un tamaño de efecto dado).
En la figura resultante, se trazaron las curvas de potencia para la prueba t de Student, en función del tamaño del efecto, asumiendo una tasa de error Tipo I del 5%. La comparación de diferentes curvas de potencia (basadas en el tamaño de la muestra de cada grupo) en el mismo gráfico es una representación visual útil de este análisis. En la figura también se trazó una línea discontinua horizontal en un nivel de potencia aceptable del 80% y una línea vertical en el tamaño del efecto que tendría que estar presente en nuestros datos para alcanzar el 80% de potencia. Se observa que el tamaño del efecto debe ser superior a 0.54 para alcanzar un nivel de potencia aceptable dados tamaños de grupo altamente desequilibrados de 𝑛1=28 y 𝑛2=1406, en comparación con todos los demás escenarios que conducen al 100% de potencia. Repite el análisis usando 5 valores distintos del nivel de significancia. ¿Cambian los resultados? ¿Qué ocurre cuando 𝑛1=28 y 𝑛2=1406? Analiza y compara los resultados.
Solución Caso 2
Análisis de iteración sobre varios niveles de significancia (𝛼)
1. Variación con el nivel de significancia:
- Al aumentar el nivel de significancia (𝛼), las curvas de potencia se desplazan hacia la izquierda, lo que significa que un efecto menor es suficiente para alcanzar una potencia dada.
- Reducir el nivel de significancia hace que sea más difícil alcanzar una potencia deseada, ya que se requiere un efecto mayor para rechazar la hipótesis nula.
2. Caso específico con 𝑛1=28 y 𝑛2=1406:
- En este caso, debido al gran desbalance en el tamaño de muestra entre los dos grupos, es necesario un tamaño del efecto más grande para alcanzar el mismo nivel de potencia en comparación con los otros tamaños de muestra más balanceados.
- Al usar un nivel de significancia más alto, se puede observar una disminución en el tamaño del efecto requerido para alcanzar el 80% de potencia. Sin embargo, debido al tamaño desbalanceado de las muestras, el efecto necesario para alcanzar una potencia del 80% podría ser considerablemente mayor que en escenarios más balanceados.
- Este análisis te permitirá comparar cómo los niveles de significancia afectan la potencia de los tests en diferentes escenarios de tamaño de muestra, y proporcionará una visión detallada sobre cómo los tamaños de muestra desbalanceados afectan los requisitos de tamaño del efecto.
Análisis de los gráficos detallados por nivel de significancia
1. Tendencias Generales
Relación entre Tamaño del Efecto y Potencia:
- La potencia de una prueba aumenta a medida que el tamaño del efecto aumenta. Esto es consistente en todos los gráficos de las facetas.
- Para un tamaño del efecto dado, la potencia es mayor cuando el tamaño de muestra es más grande. Esto se observa claramente al comparar las líneas de diferentes tamaños de muestra en cada faceta.
Efecto del Nivel de Significancia (𝛼):
- A medida que el nivel de significancia 𝛼 aumenta (lo que significa que estamos dispuestos a aceptar una mayor tasa de error Tipo I), la potencia para un tamaño del efecto dado también aumenta. Esto se debe a que un nivel de significancia más alto hace que la prueba sea menos estricta, permitiendo detectar efectos más pequeños como significativos.
- El gráfico muestra que el tamaño del efecto necesario para alcanzar una potencia específica disminuye a medida que 𝛼 aumenta. Por ejemplo, con 𝛼 = 0.30, puedes alcanzar una potencia del 80% con un tamaño del efecto menor que con 𝛼 = 0.01.
2. Comparación entre Tamaños de Muestra
Tamaño de Muestra Pequeño (n1=28, n2=1406):
- Este tamaño de muestra es el menos equilibrado y muestra la menor potencia para tamaños del efecto pequeños. Para alcanzar una potencia del 80%, el tamaño del efecto debe ser considerablemente mayor en comparación con los tamaños de muestra más balanceados.
- A medida que el nivel de significancia aumenta, la potencia mejora, pero debido al gran desbalance entre los tamaños de muestra, se sigue requiriendo un tamaño del efecto relativamente grande para alcanzar la potencia deseada.
Tamaño de Muestra Balanceado (n1=717, n2=717):
- Los gráficos correspondientes a este tamaño de muestra muestran que se puede alcanzar una potencia alta con tamaños del efecto menores en comparación con los tamaños de muestra desbalanceados.
- Esto se debe a que los tamaños de muestra equilibrados permiten una mayor precisión en la estimación del tamaño del efecto, lo que mejora la potencia de la prueba.
3. Curvas de Potencia y Líneas de Referencia
Líneas Verticales (Tamaño del Efecto de 0.54):
- Esta línea indica el tamaño del efecto que se requiere para alcanzar una potencia del 80% en escenarios con tamaños de muestra desbalanceados (n1=28, n2=1406).
- Para otros tamaños de muestra, especialmente los balanceados, puedes alcanzar una potencia del 80% con tamaños de efecto menores.
Líneas Horizontales (Potencia del 80%):
- La línea horizontal de 0.80 indica el umbral de potencia aceptable.
- La intersección de esta línea con las curvas de potencia muestra los tamaños del efecto necesarios para alcanzar una potencia del 80% para cada combinación de tamaño de muestra y nivel de significancia.
Conclusiones
Eficiencia de los Tamaños de Muestra:
Los tamaños de muestra balanceados son más eficientes para detectar tamaños del efecto pequeños debido a su mayor precisión en la estimación. Esto se traduce en una mayor potencia para un tamaño del efecto dado.
Impacto del Nivel de Significancia:
Un nivel de significancia más alto facilita la detección de efectos pequeños (aumentando la potencia), pero a costa de una mayor tasa de error Tipo I. Para estudios donde es crucial mantener bajo el riesgo de errores Tipo I, es necesario un tamaño del efecto mayor para alcanzar la misma potencia, especialmente en tamaños de muestra desbalanceados.
Decisiones de Diseño:
Si se espera que los tamaños de efecto sean pequeños, se debe considerar utilizar tamaños de muestra balanceados y ajustar el nivel de significancia de manera que se maximice la potencia sin comprometer excesivamente el control de errores Tipo I.