Estimacion Fenoles

Actualizado Tue May 14 09:47:36 2019

library(tidyverse)

CARGA DEL DATASET

wineq_dataset <- read_csv("data/harbetson_MF.csv")
names(wineq_dataset)[5:9]<-c("FT","AT","SPP","LPP","TT")

wineq_dataset

El dataset provisto contiene 602 registros y un total de 371 variables predictoras. Esta situación puede complicar la aplicacion de algunos algoritmos de Machine learning, es por eso que la idea es tratar primero de eliminar (si es posible) algunas variables predictoras.

Distribucion de las variables predictoras

Resulta dificil, graficar las 371 variables, por lo que se realiza un sampling solo a los efectos de la visualizacion.

wineq_dataset %>% select(1,sample(10:380,100) %>% sort()) %>% reshape2::melt(id="ID") %>%
ggplot()+
  geom_boxplot(aes(x=as.factor(variable),y=value,fill=as.factor(variable)),size=0.2)+
  geom_point(aes(x=as.factor(variable),y=value,text=ID),color='red',size=0.1)+
  theme_bw()+
  theme(axis.text.x = element_text(angle = 45, hjust = 1))+
  theme(legend.position = "none")

Ignoring unknown aesthetics: text

#ggplotly()

Se observan dos cosas:

1. Hacia el final del espectro, los valores de las mediciones se acercan mucho a cero. Aquellas variables predictoras con variabilizada cercana a cero, podrian eliminarse. Habria que verificar para estas longitudes de onda aplica.
2. Los outliers parecen presentar un patron. Puede tratarse siempre de las mismos observaciones que presentan anomalias en todas las longitudes de onda del espectro?

Analisis de los Outliers

Se obtienen los indentificadores de las observaciones que son outliers para cada longitud de onda y se calculan el numero total de veces que una observacion fue considerada como outlier en todas las longitudes de onda consideradas.

id_table_outliers<-wineq_dataset %>% select(1,10:380) %>% 
      #map(~  boxplot.stats(.x)$out) 
      map(~ which (.x %in% boxplot.stats(.x)$out)) %>% unlist()  %>% as.vector() %>% unique()

Sobre las 602 observaciones hay un total de 128 observaciones que son outliers en al menos una longitud de onda. Existen algunos observaciones que presentan anomalias en las 371 longitudes de onda.

Heatmap de las observaciones consideradas como outliers

El color amarillo claro indica mayor numero de longitudes de onda donde una observacion fue considerada outlier.