Examen Final: Análisis de evaluación de modelos

Se han propuesto tres opciones de mejora que se desean evaluar para determinar su eficacia en comparación con la situación actual. Con el fin de reducir los tiempos de falla de las máquinas, se examinarán las medias de cada alternativa en relación con la situación actual. Considerando que los datos brindados tienen distribución normal, la elección se basará en la opción que exhiba una media menor comparada con la situación actual, con el objetivo de mejorar el rendimiento del proceso.

1. Importación de la base de datos

arbol <-c(23.81,    22.13,  22.64,  21.69,  23.58,  22.14,  18.73,  21.59,
          20.36,    20.53,  20.11,  20.34,  19.19,  22.92,  18.65,  20.6,
          19.83,    20.09,  19.43,  22.06,  21.15,  19.26,  18.08,  20.24,
          18.75,    20.69,  21.62,  23.69,  23.93,  23.19)

redn <-c(23.24, 20.08,  18.01,  23.28,  19.23,  21.22,  21.47,  20.6,
         21.11, 21.27,  21.03,  17.34,  22.8,   21.85,  17.85,  23.15,
         19.57, 19.56,  20.79,  18.04,  20.95,  21.83,  18.17,  22.66,
         18.29, 18.89,  19.49,  19.19,  26.47,  25.25)

regresion <-c(16.13,    17.84,  18.28,  15.61,  17.62,  16.12,  17.29,  16.13,
              16.64,    15.03,  18.16,  16.82,  17.44,  16.76,  17.26,  15.55,
              17.49,    18.42,  17.54,  17.13,  15.5,    16.8,  18.47,  18.42, 
              18.43,    15.56,  16.03,  15.39,  15.12, 17.77)

actual <-c(17.09,   15.77,  18.45,  16.55,  22.23,  22.11,  18.26,  18.04,  
           19.66,   19.76,  18.74,  19.02,  18.54,  16.7,   17.57,  19.89,
           19.06,   18.7,   19.39,  19.68,  19.2,   16.85,  19.91,  19.82,  18.08,
           19.38,   20.3,   21.6,   23.39,  19.33)
data2  <- data.frame(ÁrbolC =arbol, Red_N = redn, Regresion = regresion, SActual = actual)
data2
##    ÁrbolC Red_N Regresion SActual
## 1   23.81 23.24     16.13   17.09
## 2   22.13 20.08     17.84   15.77
## 3   22.64 18.01     18.28   18.45
## 4   21.69 23.28     15.61   16.55
## 5   23.58 19.23     17.62   22.23
## 6   22.14 21.22     16.12   22.11
## 7   18.73 21.47     17.29   18.26
## 8   21.59 20.60     16.13   18.04
## 9   20.36 21.11     16.64   19.66
## 10  20.53 21.27     15.03   19.76
## 11  20.11 21.03     18.16   18.74
## 12  20.34 17.34     16.82   19.02
## 13  19.19 22.80     17.44   18.54
## 14  22.92 21.85     16.76   16.70
## 15  18.65 17.85     17.26   17.57
## 16  20.60 23.15     15.55   19.89
## 17  19.83 19.57     17.49   19.06
## 18  20.09 19.56     18.42   18.70
## 19  19.43 20.79     17.54   19.39
## 20  22.06 18.04     17.13   19.68
## 21  21.15 20.95     15.50   19.20
## 22  19.26 21.83     16.80   16.85
## 23  18.08 18.17     18.47   19.91
## 24  20.24 22.66     18.42   19.82
## 25  18.75 18.29     18.43   18.08
## 26  20.69 18.89     15.56   19.38
## 27  21.62 19.49     16.03   20.30
## 28  23.69 19.19     15.39   21.60
## 29  23.93 26.47     15.12   23.39
## 30  23.19 25.25     17.77   19.33
summary(arbol)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   18.08   19.89   20.64   21.03   22.14   23.93
summary(redn)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   17.34   19.20   20.87   20.76   21.84   26.47
summary(regresion)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   15.03   16.05   16.98   16.89   17.73   18.47
summary(actual)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   15.77   18.12   19.13   19.10   19.80   23.39
par(mfrow=c(1,4))
boxplot(arbol, data=arbol,xlab="Árbol de clasificación", ylab="Tiempos de falla")
boxplot(redn , data=redn, xlab="Red neuronal", ylab="Tiempos de falla" )
boxplot(regresion , data=regresion,xlab="Métodos de Regresión", ylab="Tiempos de falla" )
boxplot(actual , data=actual,xlab="Situación actual", ylab="Tiempos de falla")

alpha <- 0.05

2. Evaluación de alternativas

2.a Evaluando la Situación actual vs Árbol de clasificación

Se plantea la siguiente prueba de hipótesis: Ho:u1-u2=0 H1:u1-u2>0 u1:media de situación actual u2:media de árbol de clasificación

t_test1 <- t.test(x=actual, y=arbol, alternative="greater", mu=0, 
       paired=TRUE, conf.level=0.95)
print(t_test1)
## 
##  Paired t-test
## 
## data:  actual and arbol
## t = -5.1464, df = 29, p-value = 1
## alternative hypothesis: true mean difference is greater than 0
## 95 percent confidence interval:
##  -2.569422       Inf
## sample estimates:
## mean difference 
##       -1.931667
if (t_test1$p.value < alpha) {
  print("Se rechaza la hipótesis nula: Hay diferencia significativa entre las medias de Situación Actual y Árbol de clasificación.")
} else {
  print("No se rechaza la hipótesis nula: No hay diferencia significativa entre las medias de Situación Actual y Árbol de clasificación.")
}
## [1] "No se rechaza la hipótesis nula: No hay diferencia significativa entre las medias de Situación Actual y Árbol de clasificación."

Comentarios

Esta decisión de mantener la hipótesis nula, no necesariamente significa que se esté demostrando como verdadera debido a que no hay suficiente evidencia para rechazarla bajo las condiciones de estudio del problema planteado, ya que, como se menciona, la diferencia no es significativa. Teniendo en cuenta la premisa del problema, el hecho de no tener diferencias significativas en las medias implica que la alternativa propuesta no presenta una mejora respecto a la situación actual.

Se plantea una siguiente prueba de varianzas para ver si son iguales entre ambas alternativas:

var.test(arbol, actual)
## 
##  F test to compare two variances
## 
## data:  arbol and actual
## F = 0.9724, num df = 29, denom df = 29, p-value = 0.9404
## alternative hypothesis: true ratio of variances is not equal to 1
## 95 percent confidence interval:
##  0.4628266 2.0430017
## sample estimates:
## ratio of variances 
##          0.9723968

Comentarios

Para este caso, se tienen medias sin una diferencia significativa, al igual que las varianzas, lo cual sugiere que existe homogeneidad en las varianzas de los datos. Esta opción no es la alternativa adecuada ya que no implica una mejora.

2.b. Evaluando la Situación actual vs Redes Neuronales

Se plantea la siguiente prueba de hipótesis: Ho:u1-u3=0 H1:u1-u3>0 u1:media de situación actual u3:media de redes neuronales

t_test2 <- t.test(x=actual, y=redn, alternative="greater", mu=0, 
       paired=TRUE, conf.level=0.95)

print(t_test2)
## 
##  Paired t-test
## 
## data:  actual and redn
## t = -3.3642, df = 29, p-value = 0.9989
## alternative hypothesis: true mean difference is greater than 0
## 95 percent confidence interval:
##  -2.488868       Inf
## sample estimates:
## mean difference 
##       -1.653667
if (t_test2$p.value < alpha) {
  print("Se rechaza la hipótesis nula: Hay diferencia significativa entre las medias de Situación Actual y Redes Neuronales.")
} else {
  print("No se rechaza la hipótesis nula: No hay diferencia significativa entre las medias de Situación Actual y Redes Neuronales.")
}
## [1] "No se rechaza la hipótesis nula: No hay diferencia significativa entre las medias de Situación Actual y Redes Neuronales."

Se plantea una siguiente prueba de varianzas para ver si son iguales entre ambas alternativas:

var.test(redn, actual)
## 
##  F test to compare two variances
## 
## data:  redn and actual
## F = 1.6538, num df = 29, denom df = 29, p-value = 0.1815
## alternative hypothesis: true ratio of variances is not equal to 1
## 95 percent confidence interval:
##  0.7871611 3.4746734
## sample estimates:
## ratio of variances 
##           1.653822

Comentarios

Igualmente, se está presentando el caso que no se rechaza la hipótesis nula por la poca variación de las medias, y presenta similaridad en la prueba de varianzas al no rechazar la hipótesis nula.

2.c. Evaluando la Situación actual vs Métodos de regresión

Se plantea la siguiente prueba de hipótesis: Ho:u1-u4=0 H1:u1-u4>0 u1:media de situación actual u4:media de métodos de regresión

t_test3 <- t.test(x=actual, y=regresion, alternative="greater", mu=0, 
       paired=TRUE, conf.level=0.95)

print(t_test3)
## 
##  Paired t-test
## 
## data:  actual and regresion
## t = 5.3138, df = 29, p-value = 5.303e-06
## alternative hypothesis: true mean difference is greater than 0
## 95 percent confidence interval:
##  1.503788      Inf
## sample estimates:
## mean difference 
##        2.210667
if (t_test3$p.value < alpha) {
  print("Se rechaza la hipótesis nula: Hay diferencia significativa entre las medias.")
} else {
  print("No se rechaza la hipótesis nula: No hay diferencia significativa entre las medias.")
}
## [1] "Se rechaza la hipótesis nula: Hay diferencia significativa entre las medias."

Se plantea una siguiente prueba de varianzas para ver si son iguales entre ambas alternativas:

var.test(regresion, actual)
## 
##  F test to compare two variances
## 
## data:  regresion and actual
## F = 0.40689, num df = 29, denom df = 29, p-value = 0.01817
## alternative hypothesis: true ratio of variances is not equal to 1
## 95 percent confidence interval:
##  0.1936673 0.8548828
## sample estimates:
## ratio of variances 
##          0.4068941

Comentarios

Se rechaza la hipótesis nula por diferencia significativa entre las medias, que quiere decir que la media de los tiempos de la alternativa de Métodos de Regresión es menor que la Situación actual, según la hipótesis alternativa, asímismo, la prueba de varianzas indica que no son iguales.

3. Conclusión

En conclusión, para los escenarios donde se comparen casos donde el resultado dé varianzas distintas, se sugiere investigar por qué se está dado esta variabilidad. Una opción a realizar es el análisis de varianza (ANOVA), para de esta manera poder determinar si los resultados de variabilidad entre los casos es significativa. Así, con esta información adicional, se podría optar por opciones adicionales como aceptar la hipótesis alterna. Por otro lado, se concluye que para los escenarios donde el resultados de los casos comparados dé medias distintas, se sugiere utilizar pruebas estadísticas como la t de Student para probar si la diferencia entre las medias es estadísticamente significativa. En los casos donde sí sea significativa, se debe realizar una investigación más a fondo de las posibles causas que lo puedan estar provocando, como se ha hecho en la comparación de los casos del informe. Es posible que haya una diferencia en el método de realizar las galletas que no se está contemplando. Finalmente, en base a las pruebas de hipótesis realizadas, se determina que la mejor opción es la alternativa de Métodos de Regresión para reducir el tiempo de fallas de las máquinas.