EDA: EJEMPLO APLICADO
Universidad del Norte
1 Análisis Exploratorio de Datos
El análisis exploratorio de datos (Ver video) (EDA por sus siglas en inglés) implica el uso de gráficos y visualizaciones para explorar y analizar un conjunto de datos. El objetivo es explorar, investigar y aprender, no confirmar hipótesis estadísticas.
1.1 ¿Cuándo debo utilizarlo?
El análisis exploratorio de datos es una potente herramienta para explorar un conjunto de datos. Incluso cuando su objetivo es efectuar análisis planificados, el EDA puede utilizarse para limpiar datos, para análisis de subgrupos o simplemente para comprender mejor los datos. Un paso inicial importante en cualquier análisis de datos es representar los datos gráficamente.
No gráfico: Calcula estadísticas descriptivas de las variables
Gráfico: Calcula estadísticas de forma gráfica
Univariado: Analiza una sola variable a la vez
Multivariado: Analiza dos o más variables
A su vez, cada uno de esas dividisiones puede subdividirse según los tipos de datos con los que trabajemos: categóricos o numéricos.
1.2 Contexto:
El presente dataset recopila información sobre variables psicológicas y sociodemográficas de una muestra de 500 individuos, con el objetivo de analizar su relación con el bienestar emocional y la calidad de vida. Entre las variables incluidas se encuentran aspectos como el nivel de estrés, la satisfacción con la vida, la calidad del sueño y el estado emocional, junto con factores sociodemográficos como edad, género, nivel educativo e ingreso mensual. Este conjunto de datos permite explorar patrones en la salud mental y el impacto de distintas condiciones económicas y sociales.
Para garantizar la calidad de los datos y obtener conclusiones válidas, es necesario realizar un Análisis Exploratorio de Datos (EDA) antes de proceder con cualquier modelado estadístico o inferencia.
La base de datos contiene las siguientes variables:
| Variable | Tipo | Definición | Escala de Medición |
|---|---|---|---|
| genero | Categórica nominal | Identidad de género del individuo (masculino, femenino, otro). | Nominal |
| edad | Numérica discreta | Edad del individuo en años cumplidos. | Razón |
| nivel_escolaridad | Categórica ordinal | Nivel de educación alcanzado (primaria, secundaria, pregrado, posgrado). | Ordinal |
| horas_sueno | Numérica continua | Cantidad de horas promedio de sueño diarias. | Razón |
| nivel_satisfaccion | Numérica ordinal | Nivel de satisfacción con la vida en escala de 1 (bajo) a 5 (alto). | Ordinal |
| rendimiento_academico | Categórica ordinal | Evaluación del rendimiento académico (malo, regular, bueno). | Ordinal |
| ingresos_mensuales | Numérica continua | Ingresos mensuales en dólares estadounidenses. | Razón |
Ahora si, a relizar un análisis Exploratorio de datos EDA
1.3 Instalar y Cargar paquetes
Lo primero que tenemos que hacer es cargar los paquetes que vamos a utilizar para el análisis. En este caso vamos a usar:
library(tidyverse)# Incluye paquetes de importación, visualización entre otros## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr 1.1.4 ✔ readr 2.1.5
## ✔ forcats 1.0.0 ✔ stringr 1.5.1
## ✔ ggplot2 3.5.1 ✔ tibble 3.2.1
## ✔ lubridate 1.9.4 ✔ tidyr 1.3.1
## ✔ purrr 1.0.4
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag() masks stats::lag()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errorslibrary(dplyr)# Manipulación de Datos
library(ggplot2)# Visualización de datos
library(readxl)# Importación de datos
library(tibble)# Tablas
library(readr)#Para cargar base de datosRecordar que si no ha instalado estos paquetes debe correr primero el
comando:
install.packages("nombre del paquete"),
Recuerde que los paquetes deben instalarse una única
vez
Algunos paquetes utilizados para importar y exportar bases de datos en R son:
Algunos paquetes utilizados para importar y exportar bases de datos en R y Python son:
- utils: permite importar y exportar datos en varios formatos.
- rgdal: permite importar y exportar datos geoespaciales.
- readr: permite importar y exportar datos en varios formatos.
- readxl: Importar datos en formato “Excel”.
- haven: Importar y exportar datos en “SPSS”, “Stata” y “SAS”.
- httr: Herramientas para trabajar con URLs y archivos HTTP.
- rvest: útil para extraer información de las páginas web.
- xml2: Leer archivos HTML o XML.
- csv: Importar y exportar datos
.csv. - pandas:
Importar y exportar datos
.csv,Excel,SAS,SPSS,html,stata,sql, etc.
1.4 Cargar base de datos:
Tenga en cuenta que debe utilizar la dirección de donde está guardada la base de datos en caso de usar Rstudio descargado en su equipo, o importarlo en la carpeta files en caso de estar trabajando en Rstudio cloud. Aquí puede ir a un video acerca de importación de datos o datasets: (Ver video para Rstudio de escritorio) o también (Ver video para Rstudio Cloud)**
datos <- read_csv("dataset_psicologia.csv") #Ojo esta es la dirección en la que la profe tenía guardados sus datos, es necesario cambiarla.## Rows: 500 Columns: 7
## ── Column specification ────────────────────────────────────────────────────────
## Delimiter: ","
## chr (3): genero, nivel_escolaridad, rendimiento_academico
## dbl (4): edad, horas_sueno, nivel_satisfaccion, ingresos_mensuales
##
## ℹ Use `spec()` to retrieve the full column specification for this data.
## ℹ Specify the column types or set `show_col_types = FALSE` to quiet this message.Nombres de variables Aquí podemos ver qué variables fueron importadas en nuestro Data Frame:
names(datos)# nombres de variables## [1] "genero" "edad" "nivel_escolaridad"
## [4] "horas_sueno" "nivel_satisfaccion" "rendimiento_academico"
## [7] "ingresos_mensuales"Mostrar o llamar una variable
head(datos$nivel_escolaridad) #Se utiliza el simbilo $ despues del nombre de la base. Se uba la función head para mostrar solo los primero sdatos y no todos.## [1] "pregrado" "pregrado" "secundaria" "pregrado" "pregrado"
## [6] "primaria"Dimensiones
Es importante conocer las dimensiones del Dataset cargado para asegurarse que se incluyeron todas las variables y observaciones.
dim(datos) #Dimensiones: num filas x num columnas## [1] 500 7Mostrar las primeras filas de la base de datos
head(datos)Tipos de datos Con esto es posible verificar que los datos están correctamente cargados de acuerdo a la naturaleza de cada variable:
str(datos)## spc_tbl_ [500 × 7] (S3: spec_tbl_df/tbl_df/tbl/data.frame)
## $ genero : chr [1:500] "masculino" "otro" "femenino" "femenino" ...
## $ edad : num [1:500] 31 19 33 34 34 38 36 33 29 16 ...
## $ nivel_escolaridad : chr [1:500] "pregrado" "pregrado" "secundaria" "pregrado" ...
## $ horas_sueno : num [1:500] 7.2 6.77 8.06 8.44 5.82 ...
## $ nivel_satisfaccion : num [1:500] 1 5 1 5 3 1 1 3 1 1 ...
## $ rendimiento_academico: chr [1:500] "malo" "regular" "malo" "bueno" ...
## $ ingresos_mensuales : num [1:500] NA 3425 1097 4184 3574 ...
## - attr(*, "spec")=
## .. cols(
## .. genero = col_character(),
## .. edad = col_double(),
## .. nivel_escolaridad = col_character(),
## .. horas_sueno = col_double(),
## .. nivel_satisfaccion = col_double(),
## .. rendimiento_academico = col_character(),
## .. ingresos_mensuales = col_double()
## .. )
## - attr(*, "problems")=<externalptr>Vemos que la variable Nivel de satisfacción con la vida es de naturaleza categórica, sin embargo, R las leyó como numéricas. Se debe corregir de la siguiente manera:
#Convertir variables en factores
datos$nivel_satisfaccion <- as.factor(datos$nivel_satisfaccion) #OJO: con el signo "$" llamo a una variable específica de mi datasetRevisar nuevamente el Dataset:
str(datos)## spc_tbl_ [500 × 7] (S3: spec_tbl_df/tbl_df/tbl/data.frame)
## $ genero : chr [1:500] "masculino" "otro" "femenino" "femenino" ...
## $ edad : num [1:500] 31 19 33 34 34 38 36 33 29 16 ...
## $ nivel_escolaridad : chr [1:500] "pregrado" "pregrado" "secundaria" "pregrado" ...
## $ horas_sueno : num [1:500] 7.2 6.77 8.06 8.44 5.82 ...
## $ nivel_satisfaccion : Factor w/ 3 levels "1","3","5": 1 3 1 3 2 1 1 2 1 1 ...
## $ rendimiento_academico: chr [1:500] "malo" "regular" "malo" "bueno" ...
## $ ingresos_mensuales : num [1:500] NA 3425 1097 4184 3574 ...
## - attr(*, "spec")=
## .. cols(
## .. genero = col_character(),
## .. edad = col_double(),
## .. nivel_escolaridad = col_character(),
## .. horas_sueno = col_double(),
## .. nivel_satisfaccion = col_double(),
## .. rendimiento_academico = col_character(),
## .. ingresos_mensuales = col_double()
## .. )
## - attr(*, "problems")=<externalptr>1.5 Revisión de valores faltantes (N/A):
Sumar N/As por cada columna (variable)
# Contar valores faltantes por variable
colSums(is.na(datos))## genero edad nivel_escolaridad
## 0 0 0
## horas_sueno nivel_satisfaccion rendimiento_academico
## 0 0 0
## ingresos_mensuales
## 30Nota importante: Cuando se identifican datos faltantes en un conjunto de datos durante un Análisis Exploratorio de Datos (EDA), es fundamental evaluar su impacto en el análisis y decidir el mejor método para tratarlos. El primer paso consiste en cuantificar la cantidad de valores ausentes y analizar su distribución a lo largo de las variables. Si los valores perdidos son escasos y aleatorios, una opción válida puede ser eliminarlos sin afectar significativamente los resultados. Sin embargo, cuando los valores faltantes son numerosos o siguen un patrón sistemático, es recomendable aplicar métodos de imputación, como el reemplazo por la media o mediana en variables numéricas, o el uso de la moda en variables categóricas. También pueden emplearse técnicas más avanzadas, como la imputación por regresión o el uso de modelos de aprendizaje automático.
En cualquier caso, la decisión sobre el tratamiento de los datos ausentes debe tomarse considerando el contexto del estudio y asegurando que no se introduzcan sesgos que afecten la validez de las conclusiones.
1.6 Revisión de valores atípicos (outliers)
Nota importante: La detección de valores atípicos es un paso crucial en un Análisis Exploratorio de Datos (EDA), ya que estos pueden influir en la interpretación de los resultados y en la robustez de los modelos estadísticos. Un valor atípico es una observación que se aleja significativamente del resto de los datos y puede ser causado por errores de medición, registros incorrectos o, en algunos casos, por la naturaleza de la propia distribución de los datos. Para identificarlos, se pueden utilizar técnicas gráficas como los gráficos de caja y bigotes.
Una vez detectados, es importante analizar su origen: si los valores son producto de errores, pueden ser corregidos o eliminados; si son casos extremos pero válidos, se pueden utilizar transformaciones más complejas para reducir su impacto. La decisión de mantener, corregir o eliminar valores atípicos debe basarse en la naturaleza del problema y el contexto del estudio, asegurando que el análisis refleje con precisión la realidad de los datos.
Un resumen estadístico general de las variables nos puede mostrar el resumen de los cinco números para las variables numéricas: (mínimo, primer cuartil, segundo cuartil (que equivale a la mediana), tercer cuartil y valor máximo). Estos cinco números nos brindan una idea de la distribución de los datos: la media se ve alterada por valores extremos, mientras que la mediana no, cuando la media se aleja mucho de la mediana, puede ser un indicador de datos atípicos o extremos.
En este caso, las variables numéricas son Edad e Ingreso mensual:
# Resumen estadístico general
summary(datos)## genero edad nivel_escolaridad horas_sueno
## Length:500 Min. : 6.00 Length:500 Min. : 2.618
## Class :character 1st Qu.:25.00 Class :character 1st Qu.: 6.118
## Mode :character Median :31.00 Mode :character Median : 7.089
## Mean :30.44 Mean : 7.121
## 3rd Qu.:35.00 3rd Qu.: 8.109
## Max. :50.00 Max. :11.790
##
## nivel_satisfaccion rendimiento_academico ingresos_mensuales
## 1:211 Length:500 Min. : -8216
## 3:165 Class :character 1st Qu.: 1386
## 5:124 Mode :character Median : 2341
## Mean : 5101
## 3rd Qu.: 3689
## Max. :651420
## NA's :30Note que la media y mediana de la edad son muy similares, mientras que en el caso de ingreso mensual, se alejan un poco más. Note también que el valor máximo en esta última variable se encuentra alejado del tercer cuartil. Todo esto lo podemos visualizar en un gráfico de Caja y Bigotes:
Caja y bigotes para la variable edad
boxplot(datos$edad, horizontal=TRUE, col='steelblue', main="Boxplot de edad")
Caja y bigotes para la variable Ingreso mensual
# Desactivar notación científica (cuando las cifras son muy largas)
options(scipen=999)
# Generar el boxplot sin notación científica
boxplot(datos$ingresos_mensuales, horizontal=TRUE, col='cadetblue4', main="Boxplot de Ingresos Mensuales")
El gráfico se ve de esta manera por los valores extremos. Así se vería sin esos datos atípicos:
# Desactivar notación científica
options(scipen=999)
# Generar boxplot sin valores extremos
boxplot(datos$ingresos_mensuales, horizontal=TRUE, col='cadetblue4',
main="Boxplot de Ingreso Mensual (Sin Valores Extremos)",
outline=FALSE) # Esto elimina los valores atípicos visualmente
En esta ocasión, reemplazaremos los atípicos por el valor de la mediana
a manera de imputación:
# Calcular la mediana del ingreso mensual
mediana <- median(datos$ingresos_mensuales, na.rm=TRUE)
# Reemplazar valores atípicos con la mediana
datos$ingresos_mensuales <- ifelse(datos$ingresos_mensuales %in% boxplot.stats(datos$ingresos_mensuales)$out,
mediana,
datos$ingresos_mensuales)
# Verificar con un nuevo boxplot
boxplot(datos$ingresos_mensuales, horizontal=TRUE, col='cadetblue4',
main="Boxplot de Ingresos Mensuales (Atípicos Reemplazados con Mediana)")
1.7 Exploración de variables:
1.7.1 Representación en tablas:
Tabla de Frecuencia para Nivel de escolaridad
# Tabla de Frecuencia para Nivel de Escolaridad
tabla_educacion <- table(datos$nivel_escolaridad)
print(tabla_educacion)##
## posgrado pregrado primaria secundaria
## 70 168 111 151Tabla de Frecuencia para rendimiento académico
# Tabla de Frecuencia para rendimiento académico
tabla_rendimiento <- table(datos$rendimiento_academico)
print(tabla_rendimiento)##
## bueno malo nan regular
## 71 184 20 225Tabla de Frecuencia para género
# Tabla de Frecuencia para genero
tabla_genero <- table(datos$genero)
print(tabla_genero)##
## femenino masculino otro
## 222 223 55Tabla de frecuencia agrupada para ingreso mensual
# Desactivar notación científica
options(scipen=999)
# Determinar automáticamente el número de intervalos con la regla de Sturges
num_intervals <- nclass.Sturges(datos$ingresos_mensuales)
# Agrupar ingresos en intervalos automáticos
datos$ingreso_grupo <- cut(datos$ingresos_mensuales, breaks = num_intervals, include.lowest = TRUE)
# Crear la tabla de frecuencia
tabla_ingreso <- table(datos$ingreso_grupo)
# Convertir en data frame para mejor presentación
tabla_ingreso_df <- as.data.frame(tabla_ingreso)
colnames(tabla_ingreso_df) <- c("Rango de Ingreso", "Frecuencia")
# Calcular la frecuencia relativa
frecuencia_relativa <- prop.table(tabla_ingreso) * 100 # Convertir a porcentaje
tabla_ingreso_df$frecuencia_relativa <- round(frecuencia_relativa, 2) # Agregar columna con % y redondear
tabla_ingreso_df #Mostrar la tabla resultante1.8 Gráficos:
Nota: Encuentra aquí la guía de colores para tus gráficos > **(guía de colores)
Gráfico para la variable genero:
ggplot(datos, aes(x = genero, fill = genero)) +
geom_bar() +
labs(title = "Distribución de Género", x = "Género", y = "Frecuencia") +
theme_minimal()
Gráfico para la variable edad:
ggplot(datos, aes(x = edad)) +
geom_histogram(bins = 10, fill = "steelblue", color = "black", alpha = 0.7) +
labs(title = "Distribución de Edades", x = "Edad", y = "Frecuencia") +
theme_minimal()
Gráfico para ingreso mensual
ggplot(datos, aes(x = ingresos_mensuales)) +
geom_histogram(bins = 10, fill = "cyan4", color = "black", alpha = 0.7) +
labs(title = "Distribución del Ingreso Mensual", x = "Ingreso Mensual", y = "Frecuencia") +
theme_minimal()## Warning: Removed 30 rows containing non-finite outside the scale range
## (`stat_bin()`).
Gráfico para rendimiento académcio
ggplot(datos, aes(x = rendimiento_academico, fill = rendimiento_academico)) +
geom_bar() +
labs(title = "Distribución de rendimiento académcio", x = "Rendimiento académcio", y = "Frecuencia") +
theme_minimal()
Gráfico circular para nivel de satisfacción con la vida
tabla_satis <- table(datos$nivel_satisfaccion)
df_satis <- as.data.frame(tabla_satis)
colnames(df_satis) <- c("Nivel_satisfaccion_vida", "Frecuencia")
ggplot(df_satis, aes(x = "", y = Frecuencia, fill = Nivel_satisfaccion_vida)) +
geom_bar(stat = "identity", width = 1) +
coord_polar("y", start = 0) +
labs(title = "Satisfacción con la vida (Gráfico Circular)") +
theme_void()
1.9 Análisis Bivariado
diagrama de barras agrupadas genero vs satisfacción con la vida
# Crear gráfico de barras agrupadas
ggplot(datos, aes(x = nivel_satisfaccion, fill = genero)) +
geom_bar(position = "dodge") + # "dodge" agrupa las barras
labs(title = "Satisfacción por Género", x = "Nivel satisfacción", y = "Cantidad de Personas") +
theme_minimal()
diagrama de cajas y bigotes genero vs ingresos mensuales
# Crear el boxplot de ingreso mensual según género
ggplot(datos, aes(x = genero, y = ingresos_mensuales, fill = genero)) +
geom_boxplot() + # Agregar boxplot
labs(title = "Distribución del Ingreso Mensual por Género",
x = "Género",
y = "Ingreso Mensual") +
theme_minimal()## Warning: Removed 30 rows containing non-finite outside the scale range
## (`stat_boxplot()`).
Diagrama de dispersión Edad vs ingreso
# Relación entre edad e ingreso
ggplot(datos, aes(x = edad, y = ingresos_mensuales)) +
geom_point(alpha = 0.5, color = "blue") +
geom_smooth(method = "lm", color = "red") +
theme_minimal() +
ggtitle("Relación entre Edad e Ingreso")## `geom_smooth()` using formula = 'y ~ x'## Warning: Removed 30 rows containing non-finite outside the scale range
## (`stat_smooth()`).## Warning: Removed 30 rows containing missing values or values outside the scale range
## (`geom_point()`).
Matriz de correlación entre variables numéricas
#Correlación entre variables numéricas
# Cargar librería necesaria
library(corrplot)## corrplot 0.95 loaded# Seleccionar solo las variables numéricas de interés
datos_correlacion <- datos[, c("edad", "ingresos_mensuales")]
# Calcular la matriz de correlación
matriz_cor <- cor(datos_correlacion, use = "complete.obs")
# Mostrar matriz de correlación en consola
print(matriz_cor)## edad ingresos_mensuales
## edad 1.000000000 -0.007671157
## ingresos_mensuales -0.007671157 1.0000000001.10 Conlusiones
El Análisis Exploratorio de Datos (EDA) realizado permitió identificar patrones y relaciones clave entre variables. A través del análisis de distribuciones, correlaciones y visualizaciones, se detectaron valores faltantes y valores atípicos. El EDA es un paso esencial y no opcional en cualquier investigación cuantitativa, ya que proporciona una comprensión profunda de los datos y permite tomar decisiones informadas sobre el tratamiento de variables y la aplicación de modelos.
Hallazgos
Edad : La distribución de edades es relativamente uniforme, sin concentraciones extremas en grupos específicos.
Género: Se observó una distribución equilibrada de género en la muestra.
Nivel de Educación: La mayoría de los encuestados tienen estudios universitarios, seguidos de aquellos con educación secundaria. .
Ingreso Mensual: Se identificaron valores atípicos, lo que indica la presencia de individuos con ingresos significativamente mayores que el resto. La distribución de ingresos no es homogénea, con una concentración en los rangos medios.
Satisfacción con la vida️ : Es necesario tomar medidas, puesto que la mayoría seleccionó un nivel bajo de satistaffión con la vida.