LIMPIEZA BASE DE DATOS

A continuación, preprocesaremos la base de datos Ej_Datos_sucios2024.xlsx, con la finalidad luego de estudiar la empleabilidad del Grado de Ciencia e Ingeniería de Datos.

Para empezar, cargamos las librerías necesarias y la base de datos:

install.packages("tidyverse", repos = "https://cran.rstudio.com/")
## Installing package into 'C:/Users/alber/AppData/Local/R/win-library/4.2'
## (as 'lib' is unspecified)
## package 'tidyverse' successfully unpacked and MD5 sums checked
## 
## The downloaded binary packages are in
##  C:\Users\alber\AppData\Local\Temp\RtmpOAGrJv\downloaded_packages
library(readxl)
library(janitor)
## Warning: package 'janitor' was built under R version 4.2.3
## 
## Attaching package: 'janitor'
## The following objects are masked from 'package:stats':
## 
##     chisq.test, fisher.test
library(magrittr)
library(dplyr)
## Warning: package 'dplyr' was built under R version 4.2.3
## 
## Attaching package: 'dplyr'
## The following objects are masked from 'package:stats':
## 
##     filter, lag
## The following objects are masked from 'package:base':
## 
##     intersect, setdiff, setequal, union
Engresados_sucios <- read_excel("Ej_Datos_sucios2024.xlsx", sheet = "Egresados", skip = 2)
## New names:
## • `` -> `...8`
## • `` -> `...9`
Asignaturas_sucios <- read_excel("Ej_Datos_sucios2024.xlsx", 
                                 sheet = "Asignaturas")

Visualizamos la base de datos:

Engresados_sucios
## # A tibble: 16 × 9
##    nombre        DNI   `Año \r\nNacimiento` `¿Usa gafas?` Sueldo `¿Videojuegos?`
##    <chr>         <chr>                <dbl> <chr>         <chr>  <chr>          
##  1 Marge Simpson 1234…                 1980 Sí            25966… <NA>           
##  2 El mandalori… 9876…                 1983 No            12481… 1              
##  3 Pedro Picapi… 7777…                19991 No            21630… o              
##  4 Yoda          7779…                 1999 Sí            12163… o              
##  5 Superman      1010…                 2003 Sí            13282… o              
##  6 Cásper        <NA>                    NA <NA>          <NA>   <NA>           
##  7 Bob Esponja   1928…                 1956 No            21603… o              
##  8 Marge Simpson 1234…                 1980 Sí            25966… <NA>           
##  9 Mafalda       2342…                 2005 Sí            28283… <NA>           
## 10 Jake Peralta  9191…                 1995 No            <NA>   1              
## 11 Barbie        0000…                 1998 No            35337… <NA>           
## 12 Capitán Amér… 3527…                 2001 Sí            16445… 0              
## 13 Lucifer       6666…                   NA No            10981… 0              
## 14 Indiana Jones 8888…                 1988 Sí            20962… 1              
## 15 Mrs Maisel    1919…                 2001 No            12345… <NA>           
## 16 Antonio Alcá… 7722…                 1967 Sí            12968… o              
## # ℹ 3 more variables: `Vivienda actual` <chr>, ...8 <lgl>, ...9 <chr>
Asignaturas_sucios
## # A tibble: 13 × 4
##    nombre            `Asignatura preferida` `Nota media` `Nota TFG`
##    <chr>             <chr>                         <dbl>      <dbl>
##  1 Marge Simpson     Análisis de Datos              9.7          10
##  2 Yoda              Análisis de Datos              8.76          9
##  3 Pedro Picapiedra  Análisis de Datos              6.5           5
##  4 Superman          Análisis de Datos              5.3           6
##  5 Bob Esponja       Análisis de Datos              6.75          8
##  6 Mafalda           Análisis de Datos              7.5           7
##  7 Jake Peralta      Análisis de Datos              6.2           8
##  8 Barbie            Análisis de Datos              8.6           9
##  9 Capitán América   Análisis de Datos              7.4           8
## 10 Lucifer           Análisis de Datos              5.1           5
## 11 Indiana Jones     Análisis de Datos              9.3          10
## 12 Mrs Maisel        Análisis de Datos              5.1           6
## 13 Antonio Alcántara Análisis de Datos              9.3           9

Antes de realizar cambios, podemos apreciar que se trata de dos bases de datos sobre, más o menos, las mismas personas. Parece que la información, en gran parte, está relacionada con su rendimiento económico y profesional, lo que debería afectar a la empleabilidad. No obstante, parecen haber otras variables irrelevantes que trataremos más adelante. Las dimensiones de la primera tabla son \(16 \cdot 9\) y las de la segunda \(13 \cdot 4\). Las filas no parecen coincidir, lo que implica que no disponemos del mismo número de observaciones. Por otro lado, vemos que los nombres de las columnas no están limpios, por lo que los limpiamos:

Engresados_sucios %<>% janitor::clean_names()
Asignaturas_sucios %<>% janitor::clean_names()

A continuación, eliminamos las columnas vacías de Engresados_sucios (8 y 9), así como su fila de NA, la 6.

Engresados_sucios <- Engresados_sucios[-c(8,9)]
Engresados_sucios <- Engresados_sucios[-6,]

Asimismo, se puede ver que existen datos duplicados, que procederemos a eliminar:

janitor::get_dupes(Engresados_sucios, nombre)
## # A tibble: 2 × 8
##   nombre        dupe_count dni      ano_nacimiento usa_gafas sueldo  videojuegos
##   <chr>              <int> <chr>             <dbl> <chr>     <chr>   <chr>      
## 1 Marge Simpson          2 1234567C           1980 Sí        259661… <NA>       
## 2 Marge Simpson          2 1234567C           1980 Sí        259661… <NA>       
## # ℹ 1 more variable: vivienda_actual <chr>
Engresados_sucios <- dplyr::distinct(Engresados_sucios)

Unión de tablas

A la hora de hacer un análisis de la base de datos, es imprescindible que esta se halle en una tabla con la máxima información pertinente, por lo que unimos ambas tablas:

Datos_sucios <- full_join(Engresados_sucios, Asignaturas_sucios, by = "nombre")

Veamos la nueva tabla Datos_sucios:

Datos_sucios
## # A tibble: 14 × 10
##    nombre      dni   ano_nacimiento usa_gafas sueldo videojuegos vivienda_actual
##    <chr>       <chr>          <dbl> <chr>     <chr>  <chr>       <chr>          
##  1 Marge Simp… 1234…           1980 Sí        25966… <NA>        Springfield    
##  2 El mandalo… 9876…           1983 No        12481… 1           <NA>           
##  3 Pedro Pica… 7777…          19991 No        21630… o           Avilés         
##  4 Yoda        7779…           1999 Sí        12163… o           Langreo        
##  5 Superman    1010…           2003 Sí        13282… o           Smallvile      
##  6 Bob Esponja 1928…           1956 No        21603… o           Piña           
##  7 Mafalda     2342…           2005 Sí        28283… <NA>        Barcelona      
##  8 Jake Peral… 9191…           1995 No        <NA>   1           Narnia         
##  9 Barbie      0000…           1998 No        35337… <NA>        Desconocido    
## 10 Capitán Am… 3527…           2001 Sí        16445… 0           Somiedo        
## 11 Lucifer     6666…             NA No        10981… 0           Gijón          
## 12 Indiana Jo… 8888…           1988 Sí        20962… 1           Oviedo         
## 13 Mrs Maisel  1919…           2001 No        12345… <NA>        Nueva York     
## 14 Antonio Al… 7722…           1967 Sí        12968… o           Madrid         
## # ℹ 3 more variables: asignatura_preferida <chr>, nota_media <dbl>,
## #   nota_tfg <dbl>

El sueldo, que debería tener valores numéricos, los tiene del tipo caracter. Para solucionar el problema, transformamos la columna:

Datos_sucios$sueldo <- as.numeric(Datos_sucios$sueldo)

Además, hay otros errores como la presencia de “o” en vez de “0” en la columna videojuegos.

Datos_sucios$videojuegos <- ifelse(Datos_sucios$videojuegos=="o",0,Datos_sucios$videojuegos)

El año de nacimiento de Picapiedra está mal, pues es de la época prehistórica. Por tanto, ha de ser el negativo:

Datos_sucios$ano_nacimiento[c(3)] <- -Datos_sucios$ano_nacimiento[c(3)]

Antes del siguiente paso, podemos visualizar de nuevo la base de datos tras los cambios:

Datos_sucios
## # A tibble: 14 × 10
##    nombre     dni   ano_nacimiento usa_gafas  sueldo videojuegos vivienda_actual
##    <chr>      <chr>          <dbl> <chr>       <dbl> <chr>       <chr>          
##  1 Marge Sim… 1234…           1980 Sí         2.60e5 <NA>        Springfield    
##  2 El mandal… 9876…           1983 No         1.25e6 1           <NA>           
##  3 Pedro Pic… 7777…         -19991 No         2.16e5 0           Avilés         
##  4 Yoda       7779…           1999 Sí         1.22e6 0           Langreo        
##  5 Superman   1010…           2003 Sí         1.33e5 0           Smallvile      
##  6 Bob Espon… 1928…           1956 No         2.16e5 0           Piña           
##  7 Mafalda    2342…           2005 Sí         2.83e5 <NA>        Barcelona      
##  8 Jake Pera… 9191…           1995 No        NA      1           Narnia         
##  9 Barbie     0000…           1998 No         3.53e5 <NA>        Desconocido    
## 10 Capitán A… 3527…           2001 Sí         1.64e5 0           Somiedo        
## 11 Lucifer    6666…             NA No         1.10e4 0           Gijón          
## 12 Indiana J… 8888…           1988 Sí         2.10e5 1           Oviedo         
## 13 Mrs Maisel 1919…           2001 No         1.23e5 <NA>        Nueva York     
## 14 Antonio A… 7722…           1967 Sí         1.30e6 0           Madrid         
## # ℹ 3 more variables: asignatura_preferida <chr>, nota_media <dbl>,
## #   nota_tfg <dbl>

Detección de outliers

Analizaremos las variables numéricas. El sueldo parece propenso a outliers, pues vemos valores posiblemente atípicos en la tabla. Para analizar la presencia de outliers en estas variables empleamos el test de grubbs.

outliers::grubbs.test(Datos_sucios$ano_nacimiento)
## 
##  Grubbs test for one outlier
## 
## data:  Datos_sucios$ano_nacimiento
## G = 3.3282e+00, U = 5.9254e-06, p-value < 2.2e-16
## alternative hypothesis: lowest value -19991 is an outlier
outliers::grubbs.test(Datos_sucios$sueldo)
## 
##  Grubbs test for one outlier
## 
## data:  Datos_sucios$sueldo
## G = 1.81729, U = 0.70185, p-value = 0.3481
## alternative hypothesis: highest value 1296812.484 is an outlier
outliers::grubbs.test(Datos_sucios$nota_media)
## 
##  Grubbs test for one outlier
## 
## data:  Datos_sucios$nota_media
## G = 1.4097, U = 0.8206, p-value = 0.97
## alternative hypothesis: highest value 9.7 is an outlier
outliers::grubbs.test(Datos_sucios$nota_tfg)
## 
##  Grubbs test for one outlier
## 
## data:  Datos_sucios$nota_tfg
## G = 1.53806, U = 0.78644, p-value = 0.7271
## alternative hypothesis: lowest value 5 is an outlier

La hipótesis nula es que no hay outliers, frente a la alternativa de que los hay.

El resultado para el primer test de Grubbs es un p-valor muy bajo para la hipótesis nula de que el valor más bajo no es outlier, lo que implica que, rechazándola, este sí lo es. No obstante, no se trata de un valor erróneo, pues Picapiedra data de una época prehistórica. Por tanto, el dato se conserva.

En cuanto al resto de test, los p-valores son mayores a 0,05, por lo que no se rechazan las hipótesis nulas de que no hay outliers. Tenemos, por tanto, un único outlier.

En condiciones normales, con una base de datos lo suficientemente grande, los outliers podrían eliminarse. En este caso, si eliminamos la observación perdemos mucha información, mientras que se sustituimos el dato excéntrico por la media o mediana podríamos estar sobreajustando los datos. Así pues, procederemos a dejarlo ahí mismo.

Reducción de dimensiones

¿Qué variables son irrelevantes para la empleabilidad?

El nombre y el DNI son relevantes para identificar a los individuos.

El año de nacimiento ofrece información importante acerca de la evolución del mercado.

El uso de gafas es completamente irrelevante. La gente con peor visión hace vida normal y esto no afecta a sus aspiraciones. Por otro lado, no contratarlos por ello sería discriminación laboral, por lo que se puede eliminar la columna.

Datos_sucios <- Datos_sucios[, -which(names(Datos_sucios)=="usa_gafas")]

El primer sueldo es relevante, pues podría indicar una mayor aptitud o ambición. Por ello, se conserva.

El hecho de que jueguen o no a videojuegos es completamente irrelevante también. Además, los hobbies de cada uno son privados y no debería influir a la hora de escoger trabajadores, por lo que se puede eliminar la columna.

Datos_sucios <- Datos_sucios[, -which(names(Datos_sucios)=="videojuegos")]

En cuanto al resto de datos, no sabemos cómo de pertinentes son, pero sí podemos saber cuánto aportan a la base de datos. Asimismo, si varias variables tienen muy poca variabilidad, bastaría con quedarse con una.

Para ello, analizamos la correlación entre todas las variables numéricas.

corr_m <- cor(Datos_sucios[,c(3,4,7,8)] %>% tidyr::drop_na()) # nos quedamos con las variables numéricas y quitamos los NA's

Podemos visualizar dicha correlación en un mapa de calor:

De aquí deducimos lo evidente, la nota media y la nota del trabajo fin de grado están muy correlacionadas (casi 0,9 puntos), por lo que nos bastaría quedarnos con una sola de dichas variables:

Datos_sucios <- Datos_sucios[, -which(names(Datos_sucios)=="nota_tfg")]

La asignatura favorita de todos de quienes haya información es Análisis de Datos, lo cual no aporta información relevante. Podemos eliminar dicha variable:

Datos_sucios <- Datos_sucios[-c(6)]

El DNI es información confidencial, no deberíamos tenerlo. Lo mismo con los nombres. Por ello, debemos elimininar una de las columnas y cifrar la otra (les asignamos un número de tipo caracter).

Datos_sucios <- Datos_sucios[, -which(names(Datos_sucios)=="dni")]
nuevos_valores <- (1:nrow(Datos_sucios))
Datos_sucios$nombre <- nuevos_valores
Datos_sucios$nombre <- as.character(Datos_sucios$nombre)
Datos_sucios
## # A tibble: 14 × 5
##    nombre ano_nacimiento   sueldo vivienda_actual nota_media
##    <chr>           <dbl>    <dbl> <chr>                <dbl>
##  1 1                1980  259662. Springfield           9.7 
##  2 2                1983 1248111. <NA>                 NA   
##  3 3              -19991  216302. Avilés                6.5 
##  4 4                1999 1216302. Langreo               8.76
##  5 5                2003  132826. Smallvile             5.3 
##  6 6                1956  216036. Piña                  6.75
##  7 7                2005  282840. Barcelona             7.5 
##  8 8                1995      NA  Narnia                6.2 
##  9 9                1998  353371. Desconocido           8.6 
## 10 10               2001  164456. Somiedo               7.4 
## 11 11                 NA   10981. Gijón                 5.1 
## 12 12               1988  209630. Oviedo                9.3 
## 13 13               2001  123457. Nueva York            5.1 
## 14 14               1967 1296812. Madrid                9.3

Podemos rellenar los datos NA de acuerdo a valores realistas. No obstante, como el conjunto de datos es muy pequeño, es posible que esto aumente enormemente el sesgo:

library(dplyr)

# Imputar los valores NA con la mediana en las variables especificadas
Datos_sucios <- Datos_sucios %>%
  mutate(
    ano_nacimiento = replace(ano_nacimiento, is.na(ano_nacimiento), median(ano_nacimiento, na.rm = TRUE)),
    sueldo = replace(sueldo, is.na(sueldo), median(sueldo, na.rm = TRUE)),
    nota_media = replace(nota_media, is.na(nota_media), median(nota_media, na.rm = TRUE))
  )
Datos_sucios
## # A tibble: 14 × 5
##    nombre ano_nacimiento   sueldo vivienda_actual nota_media
##    <chr>           <dbl>    <dbl> <chr>                <dbl>
##  1 1                1980  259662. Springfield           9.7 
##  2 2                1983 1248111. <NA>                  7.4 
##  3 3              -19991  216302. Avilés                6.5 
##  4 4                1999 1216302. Langreo               8.76
##  5 5                2003  132826. Smallvile             5.3 
##  6 6                1956  216036. Piña                  6.75
##  7 7                2005  282840. Barcelona             7.5 
##  8 8                1995  216302. Narnia                6.2 
##  9 9                1998  353371. Desconocido           8.6 
## 10 10               2001  164456. Somiedo               7.4 
## 11 11               1995   10981. Gijón                 5.1 
## 12 12               1988  209630. Oviedo                9.3 
## 13 13               2001  123457. Nueva York            5.1 
## 14 14               1967 1296812. Madrid                9.3

Guardamos los datos limpios

Para guardar los datos limpios emplearíamos el siguiente código:

datos_limpios <- Datos_sucios

save(datos_limpios, file=“datos/Engresados.RData”)

write_csv(datos_limpios, file=“datos/Engresados.csv”)