Clasificación de imágenes a través de la identificación de rostros con lentes o sin lentes

1. Introducción

La clasificación de imágenes representa un área de estudio y aplicación diversa en múltiples disciplinas. En su forma más básica, implica tomar decisiones basadas en la información contenida en una imagen. Este informe se centra en el desafío de clasificar imágenes de individuos usando gafas mediante técnicas de aprendizaje estadístico supervisado.

2. Datos

El conjunto de datos se obtuvo del curso T81-855: Applications of Deep Learning dirigido por el profesor Jeff Heaton, en la Washington University in St. Louis (WUSTL). Los datos, están alojados en un reto de Kaggle del año 2020, en donde se encuentran 5000 imágenes producidas artificialmente a través de una red neuronal adversa generativa (GAN). El conjunto incluye personas con y sin gafas, y dentro de las imágenes de personas con gafas, se distinguen seis tipos de lentes. La figura 1 presenta una muestra de los tipos de lentes que se pueden encontrar en el conjunto de datos:

Figura 1. Tipos de lentes

El conjunto de datos fue revisado y se eliminaron imágenes que podrían afectar el aprendizaje del modelo, como personas con lentes a medio construir o dos rostros en una misma imagen. El conjunto final consta de 454 imágenes con lentes y 618 sin lentes, seleccionadas para adaptarse a la capacidad y velocidad de procesamiento disponibles.

2.1. Procesamiento

Las imágenes se pueden vectorizar. Estos vectores generados a partir de las imagenes serán las filas de una matriz de datos con la información de intensidades para cada píxel en las respectivas imágenes.

Para describir una forma de comparar los vectores, usaremos una muestra de 6 sujetos (3 con gafas y 3 sin gafas). Las figuras serán analizadas con el paquete EBImage

A continuación del modelo se toma una figura de un hombre sin gafas.

#Podemos mostrarla con el siguiente código
display(img,method='raster',all=TRUE)

Igualmente, se muestra una figura de un hombre con gafas.

display(img2,method='raster',all=TRUE)

Para facilitar la visualización y vectorización, se procede a convertir las imágenes en una escala de grises para no trabajar con el modelo de color CMYK* (modelo de color sustractivo que se utiliza en la impresión en colores, es la versión moderna y más precisa del antiguo modelo tradicional de coloración).

Por ende, las imágenes presentadas ahora se van a visualizar en espectro de grises.

#Escala de grises.

img_g<-channel(img,"gray")
img_g2<-channel(img2,"gray")

display(img_g,method='raster',all=TRUE)

display(img_g2,method='raster',all=TRUE)

Las imágenes fueron delimitadas seleccionando regiones específicas. Las coordenadas utilizadas para el recorte fueron [150:900, 360:650].

img_crop = img_g[150:900,360:650]
display(img_crop,method='raster',all=TRUE)

img_crop2 = img_g2[150:900,360:650]
display(img_crop2,method='raster',all=TRUE)

Las imágenes fueron recortadas focalizando únicamente la nariz, ya que el area logra ser distintivo y diferenciador para los sujetos que usan lentes. Las coordenadas utilizadas para el recorte fueron [440:590, 440:580].

img_crop = img_g[440:590,440:580]
display(img_crop,method='raster',all=TRUE)

img_crop2 = img_g2[440:590,440:580]
display(img_crop2,method='raster',all=TRUE)

Vamos a presentar unos histogramas con el fin de ver por medio de sus frecuencias si hay diferencias entre imágenes con y sin gafas. En los siguientes histogramas se busca observar la cantidad de píxeles (21.291 píxeles) versus la intensidad (0 a 1).

setwd("./Modelos")


for (i in 1:6){
imagename <-lista[i]

img = readImage(imagename)

img_g<-channel(img,"gray")

img_crop = img_g[440:590,440:580]
par(mfrow=c(1,2))
display(img_crop*2,method='raster',all=TRUE)

hist(img_crop,breaks=100)
}

En resumen, se identificaron diferencias significativas entre los histogramas de personas con y sin gafas. La variación en la intensidad de luz, representada en una escala de 0 a 1, revela perfiles distintivos. En las imágenes sin gafas, la frecuencia se encuentra hacia el lado derecho, indicando mayor intensidad de luz.

Por el contrario, en las imágenes con lentes oscuros, la frecuencia se sitúa hacia el lado izquierdo, indicando más píxeles oscuros. En el caso de las imágenes con lentes transparentes, se observa una variabilidad en la frecuencia, pero aún así se diferencian de las otras categorías.

3. Modelo

Se implementó un código en R que busca comparar vectores de intensidad mediante la creación de una matriz de datos. Esta matriz se construye utilizando cuartiles obtenidos a partir de histogramas de imágenes. El proceso incluye la lectura de imágenes, conversión a escala de grises, recorte de regiones específicas, y cálculo de histogramas para extraer los cuartiles. La información resultante se organiza en una matriz, representando perfiles de comparación

Se realiza el mismo proceso anterior para el caso de fotos sin gafas, que igualmente dicha matriz generada se almacena en otro archivo csv.

En este modelo, generamos 200 valores numéricos para cada imagen recortada, donde dichos valores representan la cantidad de píxeles.

A continuación, se presentan los valores divididos en rangos para las imágenes con y sin gafas, respectivamente.

#Entrar al directorio base


#Leer los archivos

read.csv("FotosConGafas.csv")->gafas

#gafas <- read.csv("C:/Users/Lenovo/Downloads/FotosConGafas.csv")

read.csv("FotosSinGafas.csv")->Sgafas

#Sgafas <- read.csv("C:/Users/Lenovo/Downloads/FotosSinGafas.csv")

#Vamos a ver rápidamente los archivos:

head(gafas,5)

head(Sgafas,5)

Luego, la información que se tiene tanto para las imágenes que tienen gafas como las que no, la adecuamos según lo requerido. Después de este proceso se agrupa la información de ambos grupos y se crea un archivo csv con los datos de entrenamiento.

#ordenar tablas, columnas, cambiar nombres

gafas[,2]->rownames(gafas)
gafas[,-c(1:2)]->gafas
t(gafas)->gafas


Sgafas[,2]->rownames(Sgafas)
Sgafas[,-c(1:2)]->Sgafas
t(Sgafas)->Sgafas

#Juntando la información

train<-data.frame(rbind(gafas,Sgafas),grupo=c(rep("Con_Gafas",nrow(gafas)),rep("Sin_Gafas",nrow(Sgafas))))
colnames(train)<-c(colnames(gafas),"grupo")

#write.csv(train,"train_1.csv")

Ahora, se realiza un gráfico para analizar la frecuencia con respecto a la intensidad de luz.

#revisando los histogramas


train %>% pivot_longer(!grupo,names_to="range",values_to="value")->datos


ggplot(datos, aes(x=range, y=value, color=grupo)) +
  geom_boxplot()+ theme(axis.text.x = element_text(angle = 90, vjust = 0.5, hjust=1,size=8))

En dicho gráfico, se ve representado por medio del boxplot rojo la información que poseen las imágenes con gafas y por medio del boxplot azul, la información que poseen las imágenes sin gafas, que se encuentran entre un rango de intensidad de luz(de 0 a 1), donde en efecto se observó, que en el boxplot que representan las imágenes con gafas(rojos) se encuentran entre rango de opacidad(lado izquierdo de la imagen), lo cual evidencia que posee un perfil diferente que el de las imágenes sin gafas(azul). Para el entrenamiento del modelo se tomarán los datos del lado izquierdo para diferenciar las imágenes con y sin gafas, dado que a la derecha la diferencia entre las imágenes es poca y tendería a contaminar el modelo.

Con el fin de reducir la dimensionalidad se utiliza el Análisis de Componentes Principales (ACP), para así representar la información original pero en un espacio de dimensión menor(limitando la pérdida de información).

De esta forma, se elabora el modelo mediante regresión de componentes principales, donde el grupo representa la variable predictora y la data a la variable de respuesta a modelar, así mismo, se creó una variable donde el número 1 representa las imágenes con gafas y 0 las imágenes sin gafas. Igualmente todo este procedimiento se guardó en un archivo csv.

#Ejecutando el ACP


mutate(train,grupo=ifelse(grupo=="Con_Gafas",1,0))->train2

#creación del modelo
pcr(grupo~.,data=train2[,c(1:60,201)],scale=TRUE,validation="CV")->model

#Prueba redundante 
predict(model,train2[,-201],ncomp=10)->prob

#Si se desea, se pueden juntar los datos creados con los valores reales (columna grupo de la tabla train)
 cbind(prob,train2[,201])->prob

 #write.csv(prob,"datos_generados.csv")

Después de crear el modelo, percibimos algunos casos donde la predicción era muy baja en fotos con gafas (debido a marcos de las gafas muy finos, plateados o transparentes) o muy alta en fotos sin gafas (debido a personas con una tez más oscura), como se puede apreciar en el siguiente gráfico.

setwd("./Sin gafas_training")



#Abrir las imágenes del modelo
list.files()->lista

i<-127
imagename <-lista[i]

img = readImage(imagename)

img_g<-channel(img,"gray")

img_crop = img_g[440:590,440:580]
display(img_g,method='raster')

setwd("../Con gafas_training")


#Abrir las imágenes del modelo
list.files()->lista

i<-219
imagename <-lista[i]

img = readImage(imagename)

img_g<-channel(img,"gray")

img_crop = img_g[440:590,440:580]
display(img_g,method='raster')

A continuación, se presenta un diagrama de violín, en donde se representa la densidad de muestras que clasifica el modelo de entrenamiento para los grupos 0 (con gafas) y 1 (sin gafas). Es fácil destacar que la gran mayoría de las observaciones sin gafas se encuentran por debajo de 0.5, proporcionándole la forma “ancha” característica y el grupo con gafas tiene una forma más alargada y alta, ocupando un rango de valores mayor.

setwd("../Tercera entrega")
read.csv("datos_generados.csv")->datos



#En el siguiente gráfico, se muestra como 0, aquellas imágenes que no deberían tener gafas y como 1, aquellas que deberían mostrar gafas. 
ggplot(datos,aes(x=as.factor(X.1),y=prob))+geom_violin()

Una manera de comprobar las diferencias entre los grupos, es realizar una prueba t para la diferencia de medias.

Prueba de hipótesis:

\(H_0\)=\(\mu_1-\mu_2=0\) vs \(H_1\)=\(\mu_1 - \mu_2 \neq 0\)

#Para comprobar los datos y las diferencias significativas, podemos ejecutar un análisis de comparación de promedios (prueba t)
t.test(datos[which(datos$X.1==1),2],datos[which(datos$X.1==0),2])

## 
##  Welch Two Sample t-test
## 
## data:  datos[which(datos$X.1 == 1), 2] and datos[which(datos$X.1 == 0), 2]
## t = 29.103, df = 557.26, p-value < 2.2e-16
## alternative hypothesis: true difference in means is not equal to 0
## 95 percent confidence interval:
##  0.4641408 0.5313271
## sample estimates:
## mean of x mean of y 
## 0.7104474 0.2127134

De acuerdo al resultado, nuestra sospecha es cierta de que las medias de los valores para ambos grupos son diferentes y esto se contrasta con el p-value de \(2.2e^{-16}\) arrojado por la prueba, lo cual nos permite rechazar la hipótesis nula.

4. Validación

Del modelo predictivo trabajado hasta ahora, si bien es cierto que se caracteriza por tener una lógica avanzada, requiere de términos específicos. En este caso, el entrenamiento se realizó con imágenes frontales (straight), entonces la validación debe hacerse con el mismo tipo de imágenes. Es decir, el modelo puede predecir con un cierto grado de error, si se le evalúa con imágenes similares a las que se usaron en entrenamiento.

Del conjunto de validación obtenido de UCI Machine Learning Repository tenemos 424 fotos que cumplen con esta característica, se analizarán usando la librería pixmap

Las imágenes seleccionadas se convirtieron todas de formato pgm a png. Una imagen de este conjunto es:

setwd("./Test_PNG")


#Abrir las imágenes del modelo
list.files()->lista

i<-4
imagename <-lista[i]

img = readImage(imagename)

img_g<-channel(img,"gray")


display(img_g,method='raster')

Una vez que se tienen todas las imágenes en formato png, repetiremos los pasos iniciales para calcular los histogramas del grupo de validación.

Finalmente se prueba y se revisan los resultados del modelo elaborado.

Para ver el porcentaje de aciertos, se analizan los valores reales vs predichos por el modelo, esto se hace en el archivo resultados.csv y resultado (1).csv generados anteriomente. En el siguiente gráfico, se observan valores de estimación más altos en las fotos con gafas, como era de esperarse en concordancia por el resultado visto anteriomente en el gráfico de violín. Se observan algunos valores atípicos.

read.csv("resultados.csv")->datos

#datos <- read.csv("C:/Users/Lenovo/Downloads/resultados.csv")

rbind(mutate(datos[datos$X %like% "open",],grupo="Sin_gafas"),
      mutate(datos[datos$X %like% "sungla",],grupo="Con_gafas"))->datos2


ggplot(datos2,aes(x=grupo,y=grupo.10.comps))+geom_boxplot()+scale_y_log10()

Con la intención de visualizar el desempeño de este algoritmo(que se emplea en aprendizaje supervisado) procedemos a realizar una matriz de confusión, la cual es una herramienta muy útil para valorar qué tan bueno es un modelo de clasificación basado en aprendizaje automático. En particular, sirve para mostrar de forma explícita cuándo una clase es confundida con otra, lo cual nos permite trabajar de forma separada con distintos tipos de error.

#datosmw <- read_excel("C:/Users/Lenovo/Downloads/resultados (1).xlsx")



datosmw <- readxl::read_excel("resultados(1).xlsx")   

datosmw$Teórico <- as.factor(datosmw$Teórico)
datosmw$Estimado <- as.factor(datosmw$Estimado)

cm <- conf_mat(datosmw, Estimado, Teórico)

autoplot(cm, type = "heatmap") +
  scale_fill_gradient(low = "pink", high = "cyan")

Los valores de la diagonal principal a=209(98.58%) y d=173(81.6%) corresponden tanto a los valores estimados de forma correcta por el modelo, como a los verdaderos positivos d = 173(imágenes con lentes), y a los verdaderos negativos a= 209(imágenes sin lentes).

La otra diagonal, por tanto, representa los casos en los que el modelo se ha equivocado (c=39(18,4%) falsos negativos, b=3(1.42%) falsos positivos).

Luego de haber analizado la matrix de confusión, se procede a calcular la exactitud, la precisión, la sensibilidad y la especificidad.

• Exactitud La exactitud (o «accuracy«) representa el porcentaje de predicciones correctas frente al total. Por tanto, es el cociente entre los casos bien clasificados por el modelo (verdaderos positivos y verdaderos negativos, es decir, los valores en la diagonal de la matriz de confusión), y la suma de todos los casos.

(209+173)/(209+173+39+3)=382/424= 0.9009434*100% = 90%

El valor obtenido para la exactitud en este modelo es del 90%.

• Precisión La precisión, (o“precision”) se refiere a lo cerca que está el resultado de una predicción del valor verdadero. Por tanto, es el cociente entre los casos positivos bien clasificados por el modelo y el total de predicciones positivas.

(173)/(173+3)= 0.9829545*100% = 98.3%

El valor obtenido para este modelo es de un 98.3%. Por tanto, nuestro modelo es más preciso que exacto.

• Sensibilidad La sensibilidad (o recall) representa la tasa de verdaderos positivos (True Positive Rate) ó TP. Es la proporción entre los casos positivos bien clasificados por el modelo, respecto al total de positivos, el cual es, la habilidad del modelo de dectetar los casos relevantes.

173/(39+173) = 0.8160377*100% = 81.6%

Un 81.6% es claramente un valor muy bueno para una métrica. Podemos decir que nuestro algoritmo de clasificación es sensible, es decir, no se le escapan muchos positivos.

• Especificidad La especificidad, por su parte, es la tasa de verdaderos negativos, (“true negative rate”)o TN. Es la proporción entre los casos negativos bien clasificados por el modelo, respecto al total de negativos.

209/(209+3) = 0.9858491*100% = 98.6%

En este caso, la especificidad tiene un valor muy bueno. Esto significa que su capacidad de discriminar los casos negativos es muy buena. Es decir, es difícil obtener falsos positivos.

• Conclusión Como se pudo observar, para cada métrica se obtuvieron valores altos, lo cual indica que el modelo tiene alta precisión y exactitud, y además de ello tiene una alta sensibilidad(tiene alto porcentaje en detectar casos positivos) y una alta especificidad(tiene alto porcentaje en detectar casos negativos).

Nuevamente, como se hizo para el conjunto de entrenamiento, se realiza una prueba t para la diferencia de medias entre los grupos.

Prueba de hipótesis:

\(H_0\)=\(\mu_1-\mu_2=0\) vs \(H_1\)=\(\mu_1 - \mu_2 \neq 0\)

#Para comprobar los datos y las diferencias significativas, podemos ejecutar un análisis de comparación de medias (prueba t)
t.test(datos2[which(datos2$grupo=="Con_gafas"),2],datos[which(datos2$grupo=="Sin_gafas"),2])

## 
##  Welch Two Sample t-test
## 
## data:  datos2[which(datos2$grupo == "Con_gafas"), 2] and datos[which(datos2$grupo == "Sin_gafas"), 2]
## t = 3.8015, df = 412.13, p-value = 0.0001655
## alternative hypothesis: true difference in means is not equal to 0
## 95 percent confidence interval:
##  1.349349 4.239047
## sample estimates:
## mean of x mean of y 
##  6.759925  3.965727

De acuerdo al resultado, nuestra sospecha es cierta de que las medias de los valores para ambos grupos son diferentes y esto se contrasta con el p-value de 0.0001655 arrojado por la prueba, lo cual nos permite rechazar la hipótesis nula.

5. Interrogantes

5.1. ¿Qué afecta la capacidad del modelo en el conjunto de validación?

• La ubicación de los rostros. Preferiblemente se desea que todas las imágenes sean centradas en donde se denote el septo nasal. Imágenes de perfil o con el mentón levantado no son aptas para este modelo.

• La estadarización de las imágenes. Existen fotos extrañas en el conjunto de validación, imágenes dobles ó con rostros a medias, esto genera ruido y entorpece la capacidad de clasificar correctamente.

• La tez de las personas de las fotografías. Puede llegar a alterar el modelo debido a la cantidad de píxeles (Ya sean mas oscuros o más claros) debido a que no podría distinguir si la persona lleva gafas o no.

• Errores humanos. El mal procedimiento a la hora de escoger una imagen y agregarla en la clasificación incorrecta.

• Formato de imágenes. La transformación de imágenes de pgm a png para el desarrollo del modelo.

5.2. ¿Hay alguna característica de las imágenes que mejore la capacidad de respuesta?

• Como se dijo anteriormente, que todas las imágenes sean frontales.

• La nitidez de las imágenes.

• Para este modelo, las personas con tez clara deberían usar lentes oscuros para que éste pueda identificar que sí poseen lentes.

6. Enlace de interés

Usted puede revisar el código y los datos usados en este proyecto en nuestro repositorio en Github

7. Referencias

[1] https://www.um.es/geograf/sigmur/temariohtml/node74.html
[2] https://empresas.blogthinkbig.com/como-interpretar-la-matriz-de-confusion-ejemplo-practico [3] https://archive.ics.uci.edu/dataset/124/cmu+face+images