Introducción

Los datos faltantes son un tema que a menudo se pasa por alto en muchos textos introductorios. Esto puede deberse a la existencia de numerosos mitos sobre el análisis de estos datos, así como a que algunas técnicas modernas aún son relativamente nuevas. También es comprensible que no se aborde en textos básicos, ya que la mayoría de las metodologías son bastante complejas desde un enfoque matemático. Sin embargo, dado que los problemas relacionados con los datos faltantes son muy comunes en el análisis de datos del mundo real, es esencial tratar este tema.

Esta sección ofrece una introducción accesible al problema y a una de las técnicas más efectivas para abordarlo. Un dicho popular sugiere que la mejor forma de manejar los datos faltantes es no tenerlos. Aunque es cierto que el tema es complicado y existen muchas formas de abordarlo, algunas de ellas pueden ser inadecuadas. Es crucial no llevar este consejo al extremo; para evitar problemas con los datos faltantes, algunos han decidido no permitir que ciertos encuestados respondan a todas las preguntas de un formulario.

Existen métodos para tratar los datos faltantes, pero no hay soluciones para datos erróneos. La estrategia estándar consiste en reemplazar los datos ausentes por valores presentes, un proceso conocido como imputación. En la mayoría de los casos, el objetivo de la imputación no es reconstruir un conjunto de datos faltantes en su totalidad, sino permitir inferencias estadísticas válidas basadas en esos datos.

Por lo tanto, la efectividad de las técnicas de imputación no se mide por su capacidad de recrear con precisión los datos ausentes a partir de un conjunto simulado, sino por su habilidad para respaldar las mismas inferencias estadísticas que se obtendrían a partir de un conjunto de datos completos.

En este sentido, rellenar los datos faltantes es solo un paso hacia el verdadero objetivo: el análisis. El conjunto de datos imputados rara vez se considera el fin último de la imputación. En la práctica, hay diversas maneras de abordar los datos faltantes, algunas efectivas y otras no tanto, y lo que funciona en un contexto puede no ser adecuado en otro. Algunas estrategias implican eliminar datos faltantes, mientras que otras se centran en la imputación. A continuación, mencionaremos brevemente algunos de los métodos más comunes, pero el objetivo principal de esta sección es introducirte en lo que se considera el estándar de oro de las técnicas de imputación: la imputación múltiple.

Visualización de datos faltantes

Para demostrar la visualización de patrones de datos ausentes, primero tenemos que crear algunos datos ausentes. Para mostrar cómo utilizar la imputación múltiple en un escenario semirealista, vamos a crear una versión del conjunto de datos mtcars con algunos valores faltantes. Configuramos seed (para la aleatoriedad determinista), y creamos una variable para mantener nuestro nuevo conjunto de datos.

Los datos se extrajeron de la revista Motor Trend US de 1974 y comprenden el consumo de combustible y 10 aspectos del diseño y el rendimiento de 32 automóviles (modelos de 1973 a 1974)

Carguemos el conjunto de datos

set.seed(2)
miss_mtcars <- mtcars

En primer lugar, vamos a crear siete valores faltantes en drat (alrededor del 20%), cinco valores faltantes en la columna mpg (alrededor del 15%), cinco valores faltantes en la columna cyl, tres valores faltantes en wt (alrededor del 10%), y tres valores faltantes en vs

some_rows <- sample(1:nrow(miss_mtcars), 7)
miss_mtcars$drat[some_rows] <- NA

some_rows <- sample(1:nrow(miss_mtcars), 5)
miss_mtcars$mpg[some_rows] <- NA

some_rows <- sample(1:nrow(miss_mtcars), 5)
miss_mtcars$cyl[some_rows] <- NA

some_rows <- sample(1:nrow(miss_mtcars), 3)
miss_mtcars$wt[some_rows] <- NA

some_rows <- sample(1:nrow(miss_mtcars), 3)
miss_mtcars$vs[some_rows] <- NA

Ahora, vamos a crear cuatro valores faltantes en qsec, pero sólo para los coches automáticos

only_automatic <- which(miss_mtcars$am==0)
some_rows <- sample(only_automatic, 4)
miss_mtcars$qsec[some_rows] <- NA

Ahora, observemos las primeras filas del nuevo conjunto de datos:

kable(head(miss_mtcars, 10))

y relicemos el conteo por columna de los datos faltantes

missing_counts <- colSums(is.na(miss_mtcars))
kable(head(missing_counts))

Ahora vamos a visualizar los datos faltantes. La primera forma en que vamos a visualizar el patrón de los datos faltantes es utilizando la función md.pattern del paquete mice (que es también el paquete que vamos a utilizar para imputar nuestros datos faltantes). Si no tiene el paquete instálelo antes

md.pattern(miss_mtcars, plot = TRUE, rotate.names = TRUE)

##    disp hp am gear carb wt vs qsec mpg cyl drat   
## 12    1  1  1    1    1  1  1    1   1   1    1  0
## 6     1  1  1    1    1  1  1    1   1   1    0  1
## 2     1  1  1    1    1  1  1    1   1   0    1  1
## 3     1  1  1    1    1  1  1    1   0   1    1  1
## 1     1  1  1    1    1  1  1    1   0   0    1  2
## 1     1  1  1    1    1  1  1    0   1   1    1  1
## 1     1  1  1    1    1  1  1    0   0   1    1  2
## 1     1  1  1    1    1  1  0    1   1   0    1  2
## 1     1  1  1    1    1  1  0    0   1   1    1  2
## 1     1  1  1    1    1  1  0    0   1   0    1  3
## 2     1  1  1    1    1  0  1    1   1   1    1  1
## 1     1  1  1    1    1  0  1    1   1   1    0  2
##       0  0  0    0    0  3  3    4   5   5    7 27

Un patrón de datos faltantes por fila se refiere a las columnas en las que hay ausencia de datos en cada fila de un conjunto de datos. La función que utilizamos contabiliza y clasifica cuántas filas presentan el mismo patrón de datos faltantes. Como resultado, se genera una matriz binaria que utiliza valores 0 y 1. En esta matriz, un 1 indica que hay datos disponibles (no faltantes), mientras que un 0 señala la ausencia de datos (faltantes).

Las filas de esta matriz están organizadas en orden ascendente según la cantidad de datos que faltan, lo que significa que la primera fila refleja el patrón con el menor número de datos ausentes.

La columna izquierda muestra cuántas filas presentan un patrón específico de datos faltantes, mientras que la columna derecha indica cuántos valores faltan en ese patrón. La última fila de la matriz resume el total de datos faltantes para cada columna del conjunto de datos. Por ejemplo, observamos que hay 12 filas que no presentan ningún dato faltante.

Además, es importante destacar que solo hay seis filas que contienen más de un valor ausente, y de estas, únicamente una fila tiene más de dos valores faltantes, como se ilustra en la penúltima fila. En general, este conjunto de datos muestra un porcentaje bajo de datos faltantes, con menos del 3% de ausencias. Esto es significativo, ya que en algunos conjuntos de datos es común encontrar más del 30% de datos faltantes.

Para visualizar mejor estos patrones de datos faltantes, utilizaremos el paquete VIM. Si aún no lo tienes instalado, asegúrate de hacerlo antes de continuar.

aggr(miss_mtcars, numbers=TRUE)

A simple vista, esta representación nos muestra, sin esfuerzo, que la columna drat representa la mayor proporción de datos faltantes, por columnas, seguida de mpg, cyl, qsec, vs y wt. El gráfico de la derecha nos muestra información similar a la de la salida de md.pattern. Esta representación, sin embargo, hace que sea más fácil saber si hay algún patrón sistemático de omisión. Las celdas azules representan los datos no ausentes, y las rojas representan los datos que faltan. Los números de la derecha del gráfico representan la proporción de filas que muestran ese patrón de datos faltantes. El 37.5% de las filas no contienen ningún tipo de dato faltante.

Tipos de datos faltantes

El paquete VIM nos permitió visualizar los patrones de datos faltantes. Un término relacionado, al mecanismo de datos faltantes, describe el proceso que determina la probabilidad de que cada punto de datos sea faltante. Hay tres categorías principales de mecanismos de datos faltantes: Missing Completely At Random (MCAR), Missing At Random (MAR), y Missing Not At Random (MNAR). La discriminación basada en el mecanismo de datos faltantes es crucial, ya que nos informa sobre las opciones para manejar los datos faltantes.

Faltantes completamente al azar (MCAR)

• El primer mecanismo, MCAR, se produce cuando la falta de datos no está relacionada con la datos. Esto ocurriría, por ejemplo, si se borraran filas de una base de datos al azar, o si una ráfaga de viento se llevara una muestra aleatoria de los formularios de encuesta de un investigador. El mecanismo que rige la ausencia de drat, mpg, cyl, wt, y vs es MCAR, porque seleccionamos al azar los elementos que faltan. Este mecanismo, aunque es el más fácil de trabajar, rara vez es sostenible en la práctica.

Faltantes no al azar (MNAR)

• El mecanismo MNAR se produce cuando la ausencia de una variable está relacionada con la variable en sí misma. Por ejemplo, supongamos que la báscula que pesa cada coche tiene una capacidad de sólo 3.700 libras y, por ello, los ocho coches que pesaban más se registraron como NA. Este es un ejemplo clásico del mecanismo MNAR, es el propio peso de la observación la causa de que falte. Otro ejemplo sería si durante el transcurso del ensayo de un fármaco antidepresivo los participantes a los que no les ayudaba el fármaco se deprimían demasiado para continuar con el ensayo. Al final del ensayo, cuando se accede y se registra el nivel de depresión de todos los participantes, habrá valores que falten para los participantes cuyo motivo de ausencia está relacionado con su nivel de depresión.

Faltantes al azar (MAR)

• El mecanismo, faltante al azar, tiene un nombre un tanto desafortunado, al contrario de lo que pueda parecer, significa que existe una relación sistemática entre la ausencia de una variable resultado y otras variables observadas, pero no la variable de resultado en sí misma.

Un ejemplo es que los hombres son menos propensos a completar una encuesta sobre depresión, pero esto no tiene nada que ver con su nivel de depresión, después de tener en cuenta la masculinidad.

Por ejemplo, puede que todas las observaciones de nuestro conjunto de datos con un valor ausente de fiebre no se hayan registrado porque se asumió que todos los pacientes con escalofríos y dolores tenían fiebre, por lo que nunca se les tomó la temperatura. Si es cierto, podríamos predecir fácilmente que cada observación que falta con escalofríos y dolores también tiene fiebre y utilizar esta información para imputar nuestros datos que faltan.

NOTA

Quizá haya observado que el lugar que ocupa un conjunto de datos concreto en la taxonomía del mecanismo de datos faltantes depende de las variables que incluye. Por ejemplo, sabemos que el mecanismo detrás de qsec es MAR, pero si el conjunto de datos no incluyera am, sería MNAR. Como somos nosotros los que creamos los datos, sabemos el procedimiento que dio lugar a los valores faltantes de qsec. Si no fuéramos nosotros los que creamos los datos, como ocurre en el mundo real, y el conjunto de datos no contuviera la columna am simplemente veríamos una cantidad de valores qsec que faltan arbitrariamente. Esto podría llevarnos a creer que los datos son MCAR. Sin embargo, no lo es; sólo porque la variable con la cual otra variable faltante está sistemáticamente relacionada no se observa, no quiere decir que esta no exista. Esto plantea una cuestión crítica: ¿Podemos estar seguros de que nuestros datos no son MCAR? La respuesta desafortunada es no. Dado que los datos que necesitamos para demostrar o refutar el MNAR faltan ipso facto, la suposición de MNAR nunca puede ser desconfirmada de forma concluyente.

Visualización de datos faltantes parte 2

Tomando el conjunto de datos airquality, un conjunto de datos de mediciones diarias de la calidad del aire en Nueva York de mayo a septiembre de 1973, que tiene valores NA dentro de sus variables (ver airquality). Las filas del conjunto de datos representan 154 días consecutivos. Cualquier eliminación de estas filas afectará a la continuidad del tiempo, lo que puede afectar a cualquier análisis de series temporales que se realice. Veamos con más detalle el conjunto de datos de la calidad del aire

Iniciamos visualizando los datos faltantes. Eliminaremos algunos puntos de datos del conjunto de datos para este ejemplo. En lo que respecta a las variables categóricas, la sustitución de las mismas no suele ser aconsejable. Algunas prácticas comunes incluyen la sustitución de las variables categóricas que faltan por la moda de las observadas, sin embargo, es cuestionable si es una buena opción. Aunque en este caso no faltan puntos de datos de las variables categóricas, las eliminamos de nuestro conjunto de datos (podemos volver a añadirlas más tarde si es necesario) y echamos un vistazo a los datos utilizando summary()

Nuevo conjunto de datos

data <- airquality
knitr::kable(head(data))

insertemos valores perdidos

data[4:10, 3] <- rep(NA, 7)
data[1:5, 4] <- NA
data <- data[-c(5,6)]
knitr::kable(head(data))

Nótese que, Ozone es la variable con más puntos de datos faltantes. A continuación vamos a profundizar en los patrones de datos que faltan. Suponiendo que los datos sean MCAR, demasiados datos faltantes también pueden ser un problema. Por lo general, un umbral máximo seguro es el 5% del total para conjuntos de datos grandes. Si los datos que faltan para una determinada característica o muestra son superiores al 5%, probablemente deba dejar de lado esa característica o muestra. Por lo tanto, comprobamos las características (columnas) y las muestras (filas) en las que falta más del 5% de los datos mediante una sencilla función

aggr_plot <- aggr(data, col=c('navyblue','red'), numbers=TRUE, sortVars=TRUE, labels=names(data),
                  cex.axis=.7, gap=3, ylab=c("Histogram of missing data","Pattern"))

## 
##  Variables sorted by number of missings: 
##  Variable      Count
##     Ozone 0.24183007
##   Solar.R 0.04575163
##      Wind 0.04575163
##      Temp 0.03267974

El gráfico nos ayuda a entender que a casi el 70% de las muestras no les falta ninguna información, al 24% le falta el valor de Ozono y las restantes muestran otros patrones de ausencia. A través de este enfoque, la situación parece un poco más clara. Otra aproximación visual (esperemos) útil es un gráfico de caja especial

marginplot(data[c(1,2)])

Aquí estamos limitados a trazar sólo 2 variables a la vez, pero sin embargo podemos obtener algunas ideas interesantes. El diagrama de caja rojo de la izquierda muestra la distribución de datos faltantes para Ozono, mientras que, el diagrama de caja azul muestra la distribución de los puntos de datos restantes. Lo mismo ocurre con los gráficos de caja de Solar.R en la parte inferior del gráfico. Si nuestra suposición de los datos MCAR es correcta, entonces esperamos que los gráficos de caja rojos y azules sean muy similares.