Resumen de la data

Un Data Scientist diseñó un modelo de analítica prescriptiva orientado a reducir el tiempo de fallas de las máquinas en un proceso de elaboración de galletas. Después de validar el modelo con los datos del sistema de mantenimiento del centro de atención, el científico busca ahora comparar tres propuestas de mejora (Árbol de clasificación, Redes neuronales y Métodos de regresión) frente al sistema de mantenimiento actual, con el fin de decidir cuál implementar.

Para ello cuenta con 30 réplicas del tiempo de falla para cada una de las 4 alternativas (actual +3 propuestas), por lo que se va a proceder a analizar considerando un nivel de significancia del 5%, si existen diferencias entre las alternativas y cuál propuesta debería implementarse, en el presente caso.

summary(data2)
##      ÁrbolC          Red_N         Regresion        SActual     
##  Min.   :18.08   Min.   :17.34   Min.   :15.03   Min.   :15.77  
##  1st Qu.:19.89   1st Qu.:19.20   1st Qu.:16.05   1st Qu.:18.12  
##  Median :20.64   Median :20.87   Median :16.98   Median :19.13  
##  Mean   :21.03   Mean   :20.76   Mean   :16.89   Mean   :19.10  
##  3rd Qu.:22.14   3rd Qu.:21.84   3rd Qu.:17.73   3rd Qu.:19.80  
##  Max.   :23.93   Max.   :26.47   Max.   :18.47   Max.   :23.39

Boxplot

El boxplot permite comparar la distribución de los tiempos de falla obtenidos mediante el sistema de mantenimiento actual y las tres propuestas de mejora: árbol de clasificación, redes neuronales y regresión. A nivel descriptivo, se observa que el modelo de regresión presenta la menor mediana de los tiempos de falla, ubicada alrededor de 17, claramente por debajo de las medianas correspondientes al sistema actual y a los modelos de árbol de clasificación y redes neuronales.

Asimismo, el modelo de regresión presenta una menor dispersión de los datos, evidenciada por un rango intercuartílico relativamente reducido, y no se observan valores atípicos. En contraste, los modelos de redes neuronales y el sistema actual presentan valores atípicos superiores. En consecuencia, desde un punto de vista descriptivo, el modelo de regresión muestra el comportamiento más favorable para el objetivo de reducir los tiempos de falla de las máquinas. Sin embargo, el boxplot por sí solo no permite concluir que las diferencias observadas sean estadísticamente significativas, por lo que esta evidencia debe complementarse con la prueba estadística correspondiente considerando un nivel de significancia del 5 %.

Paired t-Test: ÁrbolC, SActual

with(data2, (t.test(ÁrbolC, SActual, alternative='two.sided', 
  conf.level=.95, paired=TRUE)))
## 
##  Paired t-test
## 
## data:  ÁrbolC and SActual
## t = 5.1464, df = 29, p-value = 1.689e-05
## alternative hypothesis: true mean difference is not equal to 0
## 95 percent confidence interval:
##  1.164004 2.699329
## sample estimates:
## mean difference 
##        1.931667

Se aplico una prueba t para muestras pareadas con el fin de comparar el tiempo de fallas del método “Árbol de clasificación” frente al “Sistema Actual”, ambos con 30 réplicas. Hipótesis nula (H0): la diferencia media entre Árbol de Clasificación y Sistema Actual es igual a 0, si es que no hay diferencia entre ambos métodos. Hipótesis alterna (H1): la diferencia media es distinta de 0, sí existe diferencia.

Como el p-valor (1.689e-05) es menor que el nivel de significancia α = 0.05 , se rechaza la hipótesis nula. Existe evidencia estadística suficiente para afirmar que hay una diferencia significativa entre el tiempo de fallas del “Árbol de Clasificación” y el Sistema Actual.

La diferencia media es de +1.93, es decir, el método de “Árbol de Clasificación” presenta, en promedio, un tiempo de fallas 1.93 unidades más alto que el “Sistema Actual”. Esto significa que, en este caso, el “Sistema Actual” es mejor por el menor tiempo de fallas que la propuesta de “Árbol de Clasificación”, por lo que esta alternativa no debería implementarse en reemplazo del sistema actual.

Paired t-Test: Red_N, SActual

with(data2, (t.test(Red_N, SActual, alternative='two.sided', conf.level=.95,
   paired=TRUE)))
## 
##  Paired t-test
## 
## data:  Red_N and SActual
## t = 3.3642, df = 29, p-value = 0.002174
## alternative hypothesis: true mean difference is not equal to 0
## 95 percent confidence interval:
##  0.6483396 2.6589937
## sample estimates:
## mean difference 
##        1.653667

Como p-value = 0.002174 < 0.05, se rechaza la hipótesis nula. Por lo tanto, existe evidencia estadística significativa que el tiempo de fallas promedio de Red neuronal es diferente al del sistema actual. Además, como la diferencia media es positiva (1.65367) y el contraste se realizó como Red neuronal - SActual, esto significa que, en promedio la Red neuronal presenta aproximadamente 1.65 unidades más de tiempo de falla que el sistema actual. Es decir, la Red neuronal no mejora el desempeño, sino que lo empeora respecto al sistema actual.

Paired t-Test: Regresion, SActual

with(data2, (t.test(Regresion, SActual, alternative='two.sided', 
  conf.level=.95, paired=TRUE)))
## 
##  Paired t-test
## 
## data:  Regresion and SActual
## t = -5.3138, df = 29, p-value = 1.061e-05
## alternative hypothesis: true mean difference is not equal to 0
## 95 percent confidence interval:
##  -3.061533 -1.359801
## sample estimates:
## mean difference 
##       -2.210667

La comparación entre Regresion y el Sistema Actual presentó una diferencia media de −2.21 unidades, con t(29) = −5.31 y p < 0.001, evidenciando que Regresion presenta, en promedio, valores inferiores a SActual. En ambos casos, los intervalos de confianza al 95% no incluyen el valor cero, confirmando que las diferencias observadas son estadísticamente significativas.

Interpretación final

Los tres contrastes pareados (α = 0.05) muestran resultados consistentes con la data observada. Al comparar el Árbol de clasificación con el sistema actual, la diferencia media fue de 1.93 (p < 0.001), es decir, el árbol produce en promedio tiempos de falla significativamente mayores que el sistema actual, lo cual representa un retroceso frente al objetivo de reducción. De forma similar, la Red Neuronal presentó una diferencia media de 1.65 (p = 0.002), confirmando que también genera tiempos significativamente más altos que el sistema vigente. En ambos casos, al ser p-valores menores a 0.05 y el cero fuera del intervalo de confianza, se rechaza la hipótesis nula de igualdad de medias, y la dirección del efecto indica que estas dos propuestas empeoran el desempeño respecto al método actual.

El caso del modelo de Regresión es distinto: la diferencia media fue de -2.21 (p < 0.001), lo que indica una reducción significativa y consistente del tiempo de fallas frente al sistema actual, siendo la única de las tres propuestas que cumple con el objetivo planteado por el científico de datos. Con base en esta evidencia estadística, se concluye que el modelo de Regresión es la alternativa que debería implementarse, ya que es la única que logra una mejora real y estadísticamente significativa (p < 0.05) sobre el sistema de mantenimiento actual, mientras que el Árbol de clasificación y la Red Neuronal deben descartarse por generar tiempos de falla mayores a los actuales.