PrO Nicaragua GAP Hypothesis Testing

Con el objetivo de poder determinar si existe o no una significancia estadística para la diferencia entre el GAP Optimizado - Real de la Zafra 2023-2024 y el de la Zafra 2024-2025 se realizan una pruebas de hipótesis para medias / medianas.

library(dplyr)
library(ggplot2)
library(ggpubr)

dataset <- read.csv(file = 'C:/Users/sbarrios/OneDrive - Universidad Galileo/Data Science/R/Proyectos/Pantaleon/Optimizador PrO NI/Data/Backtesting Hypothesis Testing 24-25.csv')
dataset

Funciones de Densidad: Delta de Rendimiento Optimizado - Real

df1 <- data.frame(delta_yield = dataset$Final_Yield_Benefit_2024,zafra=rep('2024', sum(!is.na(dataset$Final_Yield_Benefit_2024))))
df2 <- data.frame(delta_yield = dataset$Final_Yield_Benefit_2025,zafra=rep('2025', sum(!is.na(dataset$Final_Yield_Benefit_2024))))


df_delta_yield <- data.frame("Zafra" = c("2024","2025"), 
                      "Media" = c(mean(df1$delta_yield, na.rm=TRUE),mean(df2$delta_yield, na.rm=TRUE)),
                      "Mediana" = c(median(df1$delta_yield, na.rm=TRUE),median(df2$delta_yield, na.rm=TRUE)),
                      "Desv. Estándar" = c(sd(df1$delta_yield, na.rm=TRUE),sd(df2$delta_yield, na.rm=TRUE))
                      )

df_delta_yield

ggplot() + 
  geom_density(data = df1, aes(x = delta_yield,fill=zafra),alpha=0.7) + 
  geom_density(data = df2, aes(x = delta_yield,fill=zafra),alpha=0.7)

  ggtitle("Delta Yield Distributions")

$title
[1] "Delta Yield Distributions"

attr(,"class")
[1] "labels"

Prueba de Normalidad de Yield Benefits

Se conduce una prueba Shapiro-Wilk para los beneficios de rendimiento de la zafra 2024 y 2025 con el objetivo de verificar la asunción de normalidad. El test Shapiro-Wilk considera como Hipótesis Nula \(H_0\) que los datos son normalmente distribuidos.

# Shapiro-Wilk normality test for Yield Benefits 2024
with(dataset, shapiro.test(dataset$Final_Yield_Benefit_2024))

    Shapiro-Wilk normality test

data:  dataset$Final_Yield_Benefit_2024
W = 0.92472, p-value < 2.2e-16

A un nivel de significancia del 5% rechazamos la hipótesis nula de normalidad y concluimos que los datos no están normalmente distribuidos.

# Shapiro-Wilk normality test for Yield Benefits 2025
with(dataset, shapiro.test(dataset$Final_Yield_Benefit_2025[!is.na(dataset$Final_Yield_Benefit_2025)]))

    Shapiro-Wilk normality test

data:  dataset$Final_Yield_Benefit_2025[!is.na(dataset$Final_Yield_Benefit_2025)]
W = 0.89396, p-value = 4.283e-15

A un nivel de significancia del 5% rechazamos la hipótesis nula de normalidad y concluimos que los datos no están normalmente distribuidos.

Prueba Wilcoxon

Debido a que ambas muestras no cumplen el requisito de ser normalmente distribuidas, se elige la prueba Wilcoxon de Dos Muestras No Pareadas como una alternativa no-paramétrica a la prueba t-Test de Dos Muestras No Pareadas, la cual es útil para comparar dos grupos independientes de muestras cuando no están normalmente distribuidas.

\(H_0: Gap2024 - Gap2025 \leq 0.709\)

\(H_1: Gap2024 - Gap2025 > 0.709\)

x <- dataset$Final_Yield_Benefit_2024
y <- dataset$Final_Yield_Benefit_2025[!is.na(dataset$Final_Yield_Benefit_2025)]

res_Wilcox <- wilcox.test(x, y, alternative = "greater", mu = 0.709, conf.level = 0.95)
res_Wilcox

    Wilcoxon rank sum test with continuity correction

data:  x and y
W = 169435, p-value = 0.04997
alternative hypothesis: true location shift is greater than 0.709

res_Wilcox$p.value

[1] 0.04997176

A un nivel de confianza del 95%, con un p-value de 0.04997176 rechazamos la hipótesis nula \(H_0: Gap2024 - Gap2025 \leq 0.709\) y existe evidencia estadística suficiente para concluir que \(H_1: Gap2024 - Gap2025 > 0.709\), es decir, el GAP de Rendimiento para la zafra 2025 se redujo al menos en 0.709% comparado con la zafra 2024.

Prueba t-Test de Dos Muestras No Pareadas Varianzas Desiguales

Se muestra como ejercicio la prueba t-Test de Dos Muestras No Pareadas, la cual es útil para comparar dos grupos independientes de muestras cuando se asume que están normalmente distribuidas.

\(H_0: Gap2024 - Gap2025 \leq 0.66\)

\(H_1: Gap2024 - Gap2025 > 0.66\)

res_tTest <- t.test(x, y, alternative = 'greater', mu = 0.66, var.equal = FALSE)
res_tTest

    Welch Two Sample t-test

data:  x and y
t = 1.6897, df = 700.82, p-value = 0.04577
alternative hypothesis: true difference in means is greater than 0.66
95 percent confidence interval:
 0.6614042       Inf
sample estimates:
mean of x mean of y 
 4.007120  3.291508 

res_tTest$p.value

[1] 0.0457656

A un nivel de confianza del 95%, con un p-value de 0.0457656 rechazamos la hipótesis nula \(H_0: Gap2024 - Gap2025 \leq 0.66\) y existe evidencia estadística suficiente para concluir que \(H_1: Gap2024 - Gap2025 > 0.66\), por lo que el GAP de Rendimiento para la zafra 2025 se redujo al menos en 0.66% comparado con la zafra 2024.

Prueba ANOVA para Dos Muestras (Un factor)

Se realiza una prueba ANOVA con las dos muestras, equivalente a prueba t-Student, para un solo factor (Zafra).

dataset_anova <- data.frame(Zafra = c(rep('2024', sum(!is.na(dataset$Final_Yield_Benefit_2024))),rep('2025', sum(!is.na(dataset$Final_Yield_Benefit_2024)))),
                            Yield_Gap = c(dataset$Final_Yield_Benefit_2024,dataset$Final_Yield_Benefit_2025))
dataset_anova <- dataset_anova[!is.na(dataset_anova$Yield_Gap),]
dataset_anova$Zafra <- factor(dataset_anova$Zafra)
one.way <- aov(Yield_Gap ~ Zafra, data = dataset_anova)
summary(one.way)

              Df Sum Sq Mean Sq F value Pr(>F)    
Zafra          1  131.0  131.04   448.2 <2e-16 ***
Residuals   1248  364.9    0.29                   
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Con un p-value < 2.0e-16 se rechaza la hipótesis nula de medias iguales y el factor Zafra tiene un impacto significativo en el GAP de Rendimiento Optimizado, y por lo tanto se concluye que las medias son diferentes.

ggplot(data = dataset_anova, aes(x = Zafra, y = Yield_Gap)) + geom_boxplot() + geom_jitter(aes(color = Zafra)) + ggtitle("Box Plot Gap Rendimiento Optimizado vs. Real")