source("exp_4.R")##
## Attaching package: 'dplyr'## The following objects are masked from 'package:stats':
##
## filter, lag## The following objects are masked from 'package:base':
##
## intersect, setdiff, setequal, union## Loading required package: lattice##
## Attaching package: 'caret'## The following objects are masked from 'package:Metrics':
##
## precision, recall## Loading required package: iterators## Loading required package: parallel## [1] "Churn" "0"
## [1] "Churn" "0.025"
## [1] "Churn" "0.05"
## [1] "Churn" "0.075"
## [1] "Churn" "0.1"
## [1] "Churn" "0.125"
## [1] "Churn" "0.15"
## [1] "Churn" "0.175"
## [1] "Churn" "0.2"
## [1] "Churn" "0.225"
## [1] "Churn" "0.25"
## [1] "Churn" "0.275"
## [1] "Churn" "0.3"
## [1] "Churn" "0.325"
## [1] "Churn" "0.35"
## [1] "Churn" "0.375"
## [1] "Churn" "0.4"
## [1] "Churn" "0.425"
## [1] "Churn" "0.45"
## [1] "Churn" "0.475"
## [1] "Churn" "0.5"
## [1] "Heart" "0"
## [1] "Heart" "0.025"
## [1] "Heart" "0.05"
## [1] "Heart" "0.075"
## [1] "Heart" "0.1"
## [1] "Heart" "0.125"
## [1] "Heart" "0.15"
## [1] "Heart" "0.175"
## [1] "Heart" "0.2"
## [1] "Heart" "0.225"
## [1] "Heart" "0.25"
## [1] "Heart" "0.275"
## [1] "Heart" "0.3"
## [1] "Heart" "0.325"
## [1] "Heart" "0.35"
## [1] "Heart" "0.375"
## [1] "Heart" "0.4"
## [1] "Heart" "0.425"
## [1] "Heart" "0.45"
## [1] "Heart" "0.475"
## [1] "Heart" "0.5"
## [1] "Final Mark" "0"
## [1] "Final Mark" "0.025"
## [1] "Final Mark" "0.05"
## [1] "Final Mark" "0.075"
## [1] "Final Mark" "0.1"
## [1] "Final Mark" "0.125"
## [1] "Final Mark" "0.15"
## [1] "Final Mark" "0.175"
## [1] "Final Mark" "0.2"
## [1] "Final Mark" "0.225"
## [1] "Final Mark" "0.25"
## [1] "Final Mark" "0.275"
## [1] "Final Mark" "0.3"
## [1] "Final Mark" "0.325"
## [1] "Final Mark" "0.35"
## [1] "Final Mark" "0.375"
## [1] "Final Mark" "0.4"
## [1] "Final Mark" "0.425"
## [1] "Final Mark" "0.45"
## [1] "Final Mark" "0.475"
## [1] "Final Mark" "0.5"
Podemos observar que a medida que aumenta la proporción de ruido inducido en las variables a predecir, el rendimiento de los modelos disminuye. Con valores de ruido entre 0.1 y 0.35 la performance disminuye de manera gradual. Una vez que se inducen valores de ruido mayores a 35%, la performance de los modelos se desploma. Creemos que esto se debe a que el valor de casi la mitad de las predicciones está siendo modificados, por lo que los modelos predecirán valores opuestos.
Al observar el impacto del ruido en las variables que estamos tratando de predecir, podemos notar una relación crucial entre la calidad de las predicciones y la cantidad de ruido presente en los datos. En otras palabras, a medida que aumenta la proporción de ruido introducido en nuestras variables objetivo, la capacidad de nuestros modelos para hacer predicciones precisas se ve significativamente comprometida.
En el rango de valores de ruido de 0.1 a 0.35 podemos ver una situación en la que hay una presencia moderada de datos perturbados. En este escenario, el rendimiento de nuestros modelos de predicción comienza a decaer gradualmente a medida que el ruido se incrementa. Esto se debe a que los modelos tienen dificultades para separar la información útil del ruido en los datos, lo que resulta en predicciones menos precisas.
Sin embargo, cuando el nivel de ruido supera el 35% la performance de los modelos cae significativamente. Esto se debe a que, con un nivel de ruido tan alto, aproximadamente la mitad de las predicciones se basan en información incorrecta o perturbada. En esencia, los modelos comienzan a predecir valores que van en contra de la tendencia general de los datos debido a la influencia dominante del ruido.
Hipótesis: la caída abrupta de la performance en “Final Mark” puede deberse al tamaño del dataset y a la complejidad de los datos
En el gráfico del medio podemos ver que en cierto valor de ruido hay una caída abrupta de la performance. En cambio, en los otros dos datasets la pendiente es más suave por lo que la caída es tenue.
Esta discrepancia puede deberse a que el dataset de “Final Mark” es mucho más pequeño que los demás. Ante esto, es mas susceptible al ruido ya que este tendría mas impacto proporcionalmente.
Por otro lado, como vimos en el experimento 1, la predicción de Final Mark contiene datos extremos, muy difíciles de analizar por lo que esto podria estar haciendo que sea una prediccion muy suceptible al ruido.