Data Wrangling (Parte 1)

Contexto

El paquete nycflights13 contiene información sobre todos los vuelos que partieron desde New York (EWR, JFK y LGA) a destinos en los Estados Unidos en 2013. Fueron 336,776 vuelos en total. Para ayudar a comprender las causas de los retrasos, también incluye otros conjuntos de datos útiles.

Fuente:
Origen de los datos

Este paquete incluye las siguientes tablas:

• flights = todos los vuelos que salieron de NY en 2013.
  
• weather = datos meteorológicos por hora de cada aeropuerto.
  
• planes = información de contrucción de cada avión.
  
• airports = nombres y ubicaciones de aeropuertos.
  
• airlines = relación entre nombres y códigos de las aerolineas.

Instalar paquetes y llamar librerías

# install.packages("nycflights13")
library(nycflights13)
# install.packages("tidyverse")
library(tidyverse)

## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr     1.1.4     ✔ readr     2.1.5
## ✔ forcats   1.0.0     ✔ stringr   1.5.1
## ✔ ggplot2   3.5.0     ✔ tibble    3.2.1
## ✔ lubridate 1.9.3     ✔ tidyr     1.3.1
## ✔ purrr     1.0.2     
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ dplyr::filter() masks stats::filter()
## ✖ dplyr::lag()    masks stats::lag()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errors

# library(dplyr)
library(dplyr)

Guardar base de datos

flights <- flights
weather <- weather
planes <- planes
airports <- airports
airlines <- airlines

Relación entre las bases de datos

Funciones básicas de manejo de datos

Select

La función select sirve para seleccionar las columnas de una tabla (data frame).

df1 <- flights %>% select(carrier, flight) # Selección de columnas específicas
df2 <- flights %>% select(carrier:distance) # Selección de rango
df3 <- flights %>% select(-carrier, -flight) # Eliminar columnas específicas
df4 <- flights %>% select(-carrier:-distance) # Eliminar rango de columnas
df5 <- flights %>% select(aerolinea = carrier) # Selecciona una columna y le cambia el nombre
df6 <- flights %>% rename(aerolinea = carrier) # Cambia el nombre de una columna de toda la base de datos

Filter

La función Filter sirve para seleccionar renglones de una tabla (Data frame).

df7 <- flights %>% filter(dep_delay >=500) # Extrae renglonas que cumplan condición
# Igual ==, Desigual =!=, Mayor que >, Mayor o igual que >=, Menor que <, Menor o igual que <=
# Operadores lógicos: AND &, OR |, NOT !
df8 <- flights %>% filter(dep_delay >=500, dep_delay <600) # Estrae renglones que cumplan con dos condiciones 
df9 <- flights %>% slice(1000:1099) # Extrae los números de los renglones indicados, sin importar sus valores

Distinct

La función Distinct sirve para eliminar renglones duplicados.

df10 <- distinct(flights) # Dejar sólo los renglones diferentes, borra todos los repetidos.

Merge

La función Merge sirve para juntar bases de datos.

bdgrande <- merge (flights, airlines, by="carrier")
bdgrande2 <- merge (bdgrande, planes, by="tailnum")

Mutate

df11 <- mutate(bdgrande2, dist_km = distance*1.609) # Agrega variables nuevas calculadas a partir de variables existentes en la base de datos.
# 1.609 es conversión de millas a km

Ejercicios

1. Encuentra todos los vuelos que tuvieron un atraso en llegada de 2 horas o más.

ejercicio1 <- bdgrande2 %>% filter(arr_delay >= 120)

2. Encuentra todos los vuelos que llegaron a Houston (IAH / HOU)

ejercicio2 <- bdgrande2 %>% filter(dest == "IAH" | dest == "HOU")

3. Encuentra todos los vuelos operados por United, American o Delta.

ejercicio3 <- bdgrande2 %>% filter(carrier %in% c("UA", "AA", "DL"))

4. Encuentra todos los vuelos que despegaron en Julio, Agosto o Septiembre.

ejercicio4 <- bdgrande2 %>% filter(month %in% c("7", "8", "9"))

5. Encuentra todos los vuelos que arrivaron más de 2 horas tarde, pero no despegaron tarde.

ejercicio5 <- bdgrande2 %>% filter(arr_delay >= 120, dep_delay <= 0)

6. Encuentra todos los vuelos que se retrasaron al menos 1 hora, pero que llegaron antes 30 minutos o más.

ejercicio6 <- bdgrande2 %>% filter(dep_delay >= 60, arr_delay <= -30)

7. Encuentra todos los vuelos que salieron entre la medianoche y las 6 a.m.

ejercicio7 <- bdgrande2 %>% filter(dep_time == 2400 | dep_time <= 600)

Arrange

Similar a filter() pero en lugar de seleccionar renglones, los ordena de menor a mayor.

df11 <- arrange(bdgrande2, year.x, month, day)

Para acomodar de mayor a menor:

df12 <- arrange(bdgrande2, year.x, desc(month), day)

Summarize

Colapsa una tabla a un sólo renglón.

# Obtén el retraso promedio de despegue de todos los vuelos.
summarize(bdgrande2, mean(dep_delay, na.rm=TRUE))

##   mean(dep_delay, na.rm = TRUE)
## 1                      13.17979

Group by

Agrupa tabla basado en algunas columnas.

por_dia <- group_by(bdgrande2, year.x, month, day)
summarize(por_dia, mean(dep_delay, na.rm=TRUE))

## `summarise()` has grouped output by 'year.x', 'month'. You can override using
## the `.groups` argument.

## # A tibble: 365 × 4
## # Groups:   year.x, month [12]
##    year.x month   day `mean(dep_delay, na.rm = TRUE)`
##     <int> <int> <int>                           <dbl>
##  1   2013     1     1                           10.7 
##  2   2013     1     2                           14.4 
##  3   2013     1     3                           11.1 
##  4   2013     1     4                           10.0 
##  5   2013     1     5                            5.70
##  6   2013     1     6                            7.98
##  7   2013     1     7                            6.49
##  8   2013     1     8                            3.10
##  9   2013     1     9                            3.17
## 10   2013     1    10                            1.89
## # ℹ 355 more rows

Retraso de aviones

Por qué los aviones llegan tarde y como se puede evitar esto

df13 <- flights %>% select(dep_delay, arr_delay)
ggplot() +
  geom_point(mapping = aes(x = dep_delay, y = arr_delay), data = df13) +
  geom_point(
    mapping = aes(x = dep_delay, y = arr_delay), data = df13,
    colour = 'pink', size = 1
  )

## Warning: Removed 9430 rows containing missing values or values outside the scale range
## (`geom_point()`).
## Removed 9430 rows containing missing values or values outside the scale range
## (`geom_point()`).