PrO Guatemala Yield Hypothesis Testing

Con el objetivo de poder determinar si existe o no una significancia estadística para la diferencia entre el Rendimiento del Optimizador de la Zafra 2023-2024 y el de la Zafra 2024-2025 se realizan una pruebas de hipótesis para medias / medianas.

library(dplyr)
library(ggplot2)
library(ggpubr)

dataset <- read.csv(file = 'C:/Users/sbarrios/OneDrive - Universidad Galileo/Data Science/R/Proyectos/Pantaleon/Optimizador PrO GT/Data/Backtesting Hypothesis Testing 24-25.csv')
dataset

Funciones de Densidad: Rendimiento Industrial Optimizador

df1 <- data.frame(yield = dataset$Actual_Yield_2024,zafra=rep('2024', sum(!is.na(dataset$Actual_Yield_2024))))
df2 <- data.frame(yield = dataset$Actual_Yield_2025,zafra=rep('2025', sum(!is.na(dataset$Actual_Yield_2024))))


df_yield <- data.frame("Zafra" = c("2024","2025"), 
                      "Media" = c(mean(df1$yield, na.rm=TRUE),mean(df2$yield, na.rm=TRUE)),
                      "Mediana" = c(median(df1$yield, na.rm=TRUE),median(df2$yield, na.rm=TRUE)),
                      "Desv. Estándar" = c(sd(df1$yield, na.rm=TRUE),sd(df2$yield, na.rm=TRUE))
                      )

df_yield

ggplot() + 
  geom_density(data = df1, aes(x = yield,fill=zafra),alpha=0.7) + 
  geom_density(data = df2, aes(x = yield,fill=zafra),alpha=0.7)

  ggtitle("Yield Distributions")

$title
[1] "Yield Distributions"

attr(,"class")
[1] "labels"

Prueba de Normalidad de Yield Benefits

Se conduce una prueba Shapiro-Wilk para los beneficios de rendimiento de la zafra 2024 y 2025 con el objetivo de verificar la asunción de normalidad. El test Shapiro-Wilk considera como Hipótesis Nula \(H_0\) que los datos son normalmente distribuidos.

# Shapiro-Wilk normality test for Yield Benefits 2024
with(dataset, shapiro.test(dataset$Actual_Yield_2024))

    Shapiro-Wilk normality test

data:  dataset$Actual_Yield_2024
W = 0.99718, p-value = 0.5598

A un nivel de significancia del 5% fallamos en rechazar la hipótesis nula de normalidad y concluimos que los datos están posiblemente normalmente distribuidos.

# Shapiro-Wilk normality test for Yield Benefits 2025
with(dataset, shapiro.test(dataset$Actual_Yield_2025[!is.na(dataset$Actual_Yield_2025)]))

    Shapiro-Wilk normality test

data:  dataset$Actual_Yield_2025[!is.na(dataset$Actual_Yield_2025)]
W = 0.77615, p-value < 2.2e-16

A un nivel de significancia del 5% rechazamos la hipótesis nula de normalidad y concluimos que los datos no están normalmente distribuidos.

Prueba Wilcoxon

Debido a que ambas muestras no cumplen el requisito de ser normalmente distribuidas, se elige la prueba Wilcoxon de Dos Muestras No Pareadas como una alternativa no-paramétrica a la prueba t-Test de Dos Muestras No Pareadas, la cual es útil para comparar dos grupos independientes de muestras cuando no están normalmente distribuidas.

\(H_0: Gap2024 - Gap2025 \geq 0\)

\(H_1: Gap2024 - Gap2025 < 0\)

x <- dataset$Actual_Yield_2024
y <- dataset$Actual_Yield_2025[!is.na(dataset$Actual_Yield_2025)]

res_Wilcox <- wilcox.test(x, y, alternative = "less", mu = 0.0, conf.level = 0.95)
res_Wilcox

    Wilcoxon rank sum test with continuity correction

data:  x and y
W = 38318, p-value < 2.2e-16
alternative hypothesis: true location shift is less than 0

res_Wilcox$p.value

[1] 1.132273e-67

A un nivel de confianza del 95%, con un p-value de 1.132273e-67 rechazamos la hipótesis nula \(H_0: Gap2024 - Gap2025 \geq 0.0\) y existe evidencia estadística suficiente para concluir que \(H_1: Gap2024 - Gap2025 < 0.0\), es decir, el Rendimiento para la zafra 2025 es mayor al de la zafra 2024.

Prueba t-Test de Dos Muestras No Pareadas Varianzas Desiguales

Se muestra como ejercicio la prueba t-Test de Dos Muestras No Pareadas, la cual es útil para comparar dos grupos independientes de muestras cuando se asume que están normalmente distribuidas.

\(H_0: Gap2024 - Gap2025 \geq 0.0\)

\(H_1: Gap2024 - Gap2025 < 0.0\)

res_tTest <- t.test(x, y, alternative = 'less', mu = 0.0, var.equal = FALSE)
res_tTest

    Welch Two Sample t-test

data:  x and y
t = -18.347, df = 785.64, p-value < 2.2e-16
alternative hypothesis: true difference in means is less than 0
95 percent confidence interval:
      -Inf -1.066991
sample estimates:
mean of x mean of y 
 88.83275  90.00495 

res_tTest$p.value

[1] 3.769374e-63

A un nivel de confianza del 95%, con un p-value de 3.769374e-63 rechazamos la hipótesis nula \(H_0: Gap2024 - Gap2025 \geq 0.0\) y existe evidencia estadística suficiente para concluir que \(H_1: Gap2024 - Gap2025 < 0.0\), por lo que el Rendimiento para la zafra 2025 es mayor al de la zafra 2024.

Prueba ANOVA para Dos Muestras (Un factor)

Se realiza una prueba ANOVA con las dos muestras, equivalente a prueba t-Student, para un solo factor (Zafra).

dataset_anova <- data.frame(Zafra = c(rep('2024', sum(!is.na(dataset$Actual_Yield_2024))),rep('2025', sum(!is.na(dataset$Actual_Yield_2024)))),
                            Yield = c(dataset$Actual_Yield_2024,dataset$Actual_Yield_2025))
dataset_anova <- dataset_anova[!is.na(dataset_anova$Yield),]
dataset_anova$Zafra <- factor(dataset_anova$Zafra)
one.way <- aov(Yield ~ Zafra, data = dataset_anova)
summary(one.way)

             Df Sum Sq Mean Sq F value Pr(>F)    
Zafra         1  322.8   322.8   348.8 <2e-16 ***
Residuals   940  869.8     0.9                   
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Con un p-value < 2.0e-16 se rechaza la hipótesis nula de medias iguales y el factor Zafra tiene un impacto significativo en el Rendimiento del Optimizador, y por lo tanto se concluye que las medias son diferentes.

ggplot(data = dataset_anova, aes(x = Zafra, y = Yield)) + geom_boxplot() + geom_jitter(aes(color = Zafra)) + ggtitle("Box Plot Rendimiento Optimizador Real")