Para empezar, cargamos las librerías necesarias y la base de datos:
install.packages("tidyverse", repos = "https://cran.rstudio.com/")
## Installing package into 'C:/Users/alber/AppData/Local/R/win-library/4.2'
## (as 'lib' is unspecified)
## package 'tidyverse' successfully unpacked and MD5 sums checked
##
## The downloaded binary packages are in
## C:\Users\alber\AppData\Local\Temp\RtmpOAGrJv\downloaded_packages
library(readxl)
library(janitor)
## Warning: package 'janitor' was built under R version 4.2.3
##
## Attaching package: 'janitor'
## The following objects are masked from 'package:stats':
##
## chisq.test, fisher.test
library(magrittr)
library(dplyr)
## Warning: package 'dplyr' was built under R version 4.2.3
##
## Attaching package: 'dplyr'
## The following objects are masked from 'package:stats':
##
## filter, lag
## The following objects are masked from 'package:base':
##
## intersect, setdiff, setequal, union
Engresados_sucios <- read_excel("Ej_Datos_sucios2024.xlsx", sheet = "Egresados", skip = 2)
## New names:
## • `` -> `...8`
## • `` -> `...9`
Asignaturas_sucios <- read_excel("Ej_Datos_sucios2024.xlsx",
sheet = "Asignaturas")
Engresados_sucios
## # A tibble: 16 × 9
## nombre DNI `Año \r\nNacimiento` `¿Usa gafas?` Sueldo `¿Videojuegos?`
## <chr> <chr> <dbl> <chr> <chr> <chr>
## 1 Marge Simpson 1234… 1980 Sí 25966… <NA>
## 2 El mandalori… 9876… 1983 No 12481… 1
## 3 Pedro Picapi… 7777… 19991 No 21630… o
## 4 Yoda 7779… 1999 Sí 12163… o
## 5 Superman 1010… 2003 Sí 13282… o
## 6 Cásper <NA> NA <NA> <NA> <NA>
## 7 Bob Esponja 1928… 1956 No 21603… o
## 8 Marge Simpson 1234… 1980 Sí 25966… <NA>
## 9 Mafalda 2342… 2005 Sí 28283… <NA>
## 10 Jake Peralta 9191… 1995 No <NA> 1
## 11 Barbie 0000… 1998 No 35337… <NA>
## 12 Capitán Amér… 3527… 2001 Sí 16445… 0
## 13 Lucifer 6666… NA No 10981… 0
## 14 Indiana Jones 8888… 1988 Sí 20962… 1
## 15 Mrs Maisel 1919… 2001 No 12345… <NA>
## 16 Antonio Alcá… 7722… 1967 Sí 12968… o
## # ℹ 3 more variables: `Vivienda actual` <chr>, ...8 <lgl>, ...9 <chr>
Asignaturas_sucios
## # A tibble: 13 × 4
## nombre `Asignatura preferida` `Nota media` `Nota TFG`
## <chr> <chr> <dbl> <dbl>
## 1 Marge Simpson Análisis de Datos 9.7 10
## 2 Yoda Análisis de Datos 8.76 9
## 3 Pedro Picapiedra Análisis de Datos 6.5 5
## 4 Superman Análisis de Datos 5.3 6
## 5 Bob Esponja Análisis de Datos 6.75 8
## 6 Mafalda Análisis de Datos 7.5 7
## 7 Jake Peralta Análisis de Datos 6.2 8
## 8 Barbie Análisis de Datos 8.6 9
## 9 Capitán América Análisis de Datos 7.4 8
## 10 Lucifer Análisis de Datos 5.1 5
## 11 Indiana Jones Análisis de Datos 9.3 10
## 12 Mrs Maisel Análisis de Datos 5.1 6
## 13 Antonio Alcántara Análisis de Datos 9.3 9
Antes de realizar cambios, podemos apreciar que se trata de dos bases de datos sobre, más o menos, las mismas personas. Parece que la información, en gran parte, está relacionada con su rendimiento económico y profesional, lo que debería afectar a la empleabilidad. No obstante, parecen haber otras variables irrelevantes que trataremos más adelante. Las dimensiones de la primera tabla son \(16 \cdot 9\) y las de la segunda \(13 \cdot 4\). Las filas no parecen coincidir, lo que implica que no disponemos del mismo número de observaciones. Por otro lado, vemos que los nombres de las columnas no están limpios, por lo que los limpiamos:
Engresados_sucios %<>% janitor::clean_names()
Asignaturas_sucios %<>% janitor::clean_names()
A continuación, eliminamos las columnas vacías de Engresados_sucios (8 y 9), así como su fila de NA, la 6.
Engresados_sucios <- Engresados_sucios[-c(8,9)]
Engresados_sucios <- Engresados_sucios[-6,]
Asimismo, se puede ver que existen datos duplicados, que procederemos a eliminar:
janitor::get_dupes(Engresados_sucios, nombre)
## # A tibble: 2 × 8
## nombre dupe_count dni ano_nacimiento usa_gafas sueldo videojuegos
## <chr> <int> <chr> <dbl> <chr> <chr> <chr>
## 1 Marge Simpson 2 1234567C 1980 Sí 259661… <NA>
## 2 Marge Simpson 2 1234567C 1980 Sí 259661… <NA>
## # ℹ 1 more variable: vivienda_actual <chr>
Engresados_sucios <- dplyr::distinct(Engresados_sucios)
A la hora de hacer un análisis de la base de datos, es imprescindible que esta se halle en una tabla con la máxima información pertinente, por lo que unimos ambas tablas:
Datos_sucios <- full_join(Engresados_sucios, Asignaturas_sucios, by = "nombre")
Veamos la nueva tabla Datos_sucios:
Datos_sucios
## # A tibble: 14 × 10
## nombre dni ano_nacimiento usa_gafas sueldo videojuegos vivienda_actual
## <chr> <chr> <dbl> <chr> <chr> <chr> <chr>
## 1 Marge Simp… 1234… 1980 Sí 25966… <NA> Springfield
## 2 El mandalo… 9876… 1983 No 12481… 1 <NA>
## 3 Pedro Pica… 7777… 19991 No 21630… o Avilés
## 4 Yoda 7779… 1999 Sí 12163… o Langreo
## 5 Superman 1010… 2003 Sí 13282… o Smallvile
## 6 Bob Esponja 1928… 1956 No 21603… o Piña
## 7 Mafalda 2342… 2005 Sí 28283… <NA> Barcelona
## 8 Jake Peral… 9191… 1995 No <NA> 1 Narnia
## 9 Barbie 0000… 1998 No 35337… <NA> Desconocido
## 10 Capitán Am… 3527… 2001 Sí 16445… 0 Somiedo
## 11 Lucifer 6666… NA No 10981… 0 Gijón
## 12 Indiana Jo… 8888… 1988 Sí 20962… 1 Oviedo
## 13 Mrs Maisel 1919… 2001 No 12345… <NA> Nueva York
## 14 Antonio Al… 7722… 1967 Sí 12968… o Madrid
## # ℹ 3 more variables: asignatura_preferida <chr>, nota_media <dbl>,
## # nota_tfg <dbl>
El sueldo, que debería tener valores numéricos, los tiene del tipo caracter. Para solucionar el problema, transformamos la columna:
Datos_sucios$sueldo <- as.numeric(Datos_sucios$sueldo)
Además, hay otros errores como la presencia de “o” en vez de “0” en la columna videojuegos.
Datos_sucios$videojuegos <- ifelse(Datos_sucios$videojuegos=="o",0,Datos_sucios$videojuegos)
El año de nacimiento de Picapiedra está mal, pues es de la época prehistórica. Por tanto, ha de ser el negativo:
Datos_sucios$ano_nacimiento[c(3)] <- -Datos_sucios$ano_nacimiento[c(3)]
Antes del siguiente paso, podemos visualizar de nuevo la base de datos tras los cambios:
Datos_sucios
## # A tibble: 14 × 10
## nombre dni ano_nacimiento usa_gafas sueldo videojuegos vivienda_actual
## <chr> <chr> <dbl> <chr> <dbl> <chr> <chr>
## 1 Marge Sim… 1234… 1980 Sí 2.60e5 <NA> Springfield
## 2 El mandal… 9876… 1983 No 1.25e6 1 <NA>
## 3 Pedro Pic… 7777… -19991 No 2.16e5 0 Avilés
## 4 Yoda 7779… 1999 Sí 1.22e6 0 Langreo
## 5 Superman 1010… 2003 Sí 1.33e5 0 Smallvile
## 6 Bob Espon… 1928… 1956 No 2.16e5 0 Piña
## 7 Mafalda 2342… 2005 Sí 2.83e5 <NA> Barcelona
## 8 Jake Pera… 9191… 1995 No NA 1 Narnia
## 9 Barbie 0000… 1998 No 3.53e5 <NA> Desconocido
## 10 Capitán A… 3527… 2001 Sí 1.64e5 0 Somiedo
## 11 Lucifer 6666… NA No 1.10e4 0 Gijón
## 12 Indiana J… 8888… 1988 Sí 2.10e5 1 Oviedo
## 13 Mrs Maisel 1919… 2001 No 1.23e5 <NA> Nueva York
## 14 Antonio A… 7722… 1967 Sí 1.30e6 0 Madrid
## # ℹ 3 more variables: asignatura_preferida <chr>, nota_media <dbl>,
## # nota_tfg <dbl>
Analizaremos las variables numéricas. El sueldo parece propenso a outliers, pues vemos valores posiblemente atípicos en la tabla. Para analizar la presencia de outliers en estas variables empleamos el test de grubbs.
outliers::grubbs.test(Datos_sucios$ano_nacimiento)
##
## Grubbs test for one outlier
##
## data: Datos_sucios$ano_nacimiento
## G = 3.3282e+00, U = 5.9254e-06, p-value < 2.2e-16
## alternative hypothesis: lowest value -19991 is an outlier
outliers::grubbs.test(Datos_sucios$sueldo)
##
## Grubbs test for one outlier
##
## data: Datos_sucios$sueldo
## G = 1.81729, U = 0.70185, p-value = 0.3481
## alternative hypothesis: highest value 1296812.484 is an outlier
outliers::grubbs.test(Datos_sucios$nota_media)
##
## Grubbs test for one outlier
##
## data: Datos_sucios$nota_media
## G = 1.4097, U = 0.8206, p-value = 0.97
## alternative hypothesis: highest value 9.7 is an outlier
outliers::grubbs.test(Datos_sucios$nota_tfg)
##
## Grubbs test for one outlier
##
## data: Datos_sucios$nota_tfg
## G = 1.53806, U = 0.78644, p-value = 0.7271
## alternative hypothesis: lowest value 5 is an outlier
La hipótesis nula es que no hay outliers, frente a la alternativa de que los hay.
El resultado para el primer test de Grubbs es un p-valor muy bajo para la hipótesis nula de que el valor más bajo no es outlier, lo que implica que, rechazándola, este sí lo es. No obstante, no se trata de un valor erróneo, pues Picapiedra data de una época prehistórica. Por tanto, el dato se conserva.
En cuanto al resto de test, los p-valores son mayores a 0,05, por lo que no se rechazan las hipótesis nulas de que no hay outliers. Tenemos, por tanto, un único outlier.
En condiciones normales, con una base de datos lo suficientemente grande, los outliers podrían eliminarse. En este caso, si eliminamos la observación perdemos mucha información, mientras que se sustituimos el dato excéntrico por la media o mediana podríamos estar sobreajustando los datos. Así pues, procederemos a dejarlo ahí mismo.
¿Qué variables son irrelevantes para la empleabilidad?
El nombre y el DNI son relevantes para identificar a los individuos.
El año de nacimiento ofrece información importante acerca de la evolución del mercado.
El uso de gafas es completamente irrelevante. La gente con peor visión hace vida normal y esto no afecta a sus aspiraciones. Por otro lado, no contratarlos por ello sería discriminación laboral, por lo que se puede eliminar la columna.
Datos_sucios <- Datos_sucios[, -which(names(Datos_sucios)=="usa_gafas")]
El primer sueldo es relevante, pues podría indicar una mayor aptitud o ambición. Por ello, se conserva.
El hecho de que jueguen o no a videojuegos es completamente irrelevante también. Además, los hobbies de cada uno son privados y no debería influir a la hora de escoger trabajadores, por lo que se puede eliminar la columna.
Datos_sucios <- Datos_sucios[, -which(names(Datos_sucios)=="videojuegos")]
En cuanto al resto de datos, no sabemos cómo de pertinentes son, pero sí podemos saber cuánto aportan a la base de datos. Asimismo, si varias variables tienen muy poca variabilidad, bastaría con quedarse con una.
Para ello, analizamos la correlación entre todas las variables numéricas.
corr_m <- cor(Datos_sucios[,c(3,4,7,8)] %>% tidyr::drop_na()) # nos quedamos con las variables numéricas y quitamos los NA's
Podemos visualizar dicha correlación en un mapa de calor:
De aquí deducimos lo evidente, la nota media y la nota del trabajo fin de grado están muy correlacionadas (casi 0,9 puntos), por lo que nos bastaría quedarnos con una sola de dichas variables:
Datos_sucios <- Datos_sucios[, -which(names(Datos_sucios)=="nota_tfg")]
La asignatura favorita de todos de quienes haya información es Análisis de Datos, lo cual no aporta información relevante. Podemos eliminar dicha variable:
Datos_sucios <- Datos_sucios[-c(6)]
El DNI es información confidencial, no deberíamos tenerlo. Lo mismo con los nombres. Por ello, debemos elimininar una de las columnas y cifrar la otra (les asignamos un número de tipo caracter).
Datos_sucios <- Datos_sucios[, -which(names(Datos_sucios)=="dni")]
nuevos_valores <- (1:nrow(Datos_sucios))
Datos_sucios$nombre <- nuevos_valores
Datos_sucios$nombre <- as.character(Datos_sucios$nombre)
Datos_sucios
## # A tibble: 14 × 5
## nombre ano_nacimiento sueldo vivienda_actual nota_media
## <chr> <dbl> <dbl> <chr> <dbl>
## 1 1 1980 259662. Springfield 9.7
## 2 2 1983 1248111. <NA> NA
## 3 3 -19991 216302. Avilés 6.5
## 4 4 1999 1216302. Langreo 8.76
## 5 5 2003 132826. Smallvile 5.3
## 6 6 1956 216036. Piña 6.75
## 7 7 2005 282840. Barcelona 7.5
## 8 8 1995 NA Narnia 6.2
## 9 9 1998 353371. Desconocido 8.6
## 10 10 2001 164456. Somiedo 7.4
## 11 11 NA 10981. Gijón 5.1
## 12 12 1988 209630. Oviedo 9.3
## 13 13 2001 123457. Nueva York 5.1
## 14 14 1967 1296812. Madrid 9.3
Podemos rellenar los datos NA de acuerdo a valores realistas. No obstante, como el conjunto de datos es muy pequeño, es posible que esto aumente enormemente el sesgo:
library(dplyr)
# Imputar los valores NA con la mediana en las variables especificadas
Datos_sucios <- Datos_sucios %>%
mutate(
ano_nacimiento = replace(ano_nacimiento, is.na(ano_nacimiento), median(ano_nacimiento, na.rm = TRUE)),
sueldo = replace(sueldo, is.na(sueldo), median(sueldo, na.rm = TRUE)),
nota_media = replace(nota_media, is.na(nota_media), median(nota_media, na.rm = TRUE))
)
Datos_sucios
## # A tibble: 14 × 5
## nombre ano_nacimiento sueldo vivienda_actual nota_media
## <chr> <dbl> <dbl> <chr> <dbl>
## 1 1 1980 259662. Springfield 9.7
## 2 2 1983 1248111. <NA> 7.4
## 3 3 -19991 216302. Avilés 6.5
## 4 4 1999 1216302. Langreo 8.76
## 5 5 2003 132826. Smallvile 5.3
## 6 6 1956 216036. Piña 6.75
## 7 7 2005 282840. Barcelona 7.5
## 8 8 1995 216302. Narnia 6.2
## 9 9 1998 353371. Desconocido 8.6
## 10 10 2001 164456. Somiedo 7.4
## 11 11 1995 10981. Gijón 5.1
## 12 12 1988 209630. Oviedo 9.3
## 13 13 2001 123457. Nueva York 5.1
## 14 14 1967 1296812. Madrid 9.3
Para guardar los datos limpios emplearíamos el siguiente código:
datos_limpios <- Datos_sucios
save(datos_limpios, file=“datos/Engresados.RData”)
write_csv(datos_limpios, file=“datos/Engresados.csv”)