tidyverse初认识

1 第一题 编写代码

利用nycflights13包的flights数据集是2013年从纽约三大机场(JFK、LGA、EWR)起飞的所有航班的准点数据,共336776条记录。

  • 计算纽约三大机场2013起飞航班数和平均延误时间(可使用group_by, summarise函数)

    library(dplyr)
    result <- flights %>%
      group_by(origin) %>%
      summarise(total_flights = n(), avg_delay = mean(dep_delay, na.rm = TRUE))
    print(result)
    # A tibble: 3 × 3
      origin total_flights avg_delay
      <chr>          <int>     <dbl>
    1 EWR           120835      15.1
    2 JFK           111279      12.1
    3 LGA           104662      10.3
  • 计算不同航空公司2013从纽约起飞航班数和平均延误时间

    airline_stats <- flights %>%
      group_by(carrier) %>% 
      summarise(total_flights = n(), avg_delay = mean(dep_delay, na.rm = TRUE))
    print(airline_stats)
    # A tibble: 16 × 3
       carrier total_flights avg_delay
       <chr>           <int>     <dbl>
     1 9E              18460     16.7 
     2 AA              32729      8.59
     3 AS                714      5.80
     4 B6              54635     13.0 
     5 DL              48110      9.26
     6 EV              54173     20.0 
     7 F9                685     20.2 
     8 FL               3260     18.7 
     9 HA                342      4.90
    10 MQ              26397     10.6 
    11 OO                 32     12.6 
    12 UA              58665     12.1 
    13 US              20536      3.78
    14 VX               5162     12.9 
    15 WN              12275     17.7 
    16 YV                601     19.0 
  • 计算纽约三大机场排名前三个目的地和平均飞行距离(可使用group_by, summarise, arrange, slice_max函数)

    top_destinations <- flights %>%
      group_by(origin, dest) %>%  
      summarise(avg_distance = mean(distance, na.rm = TRUE),  num_flights = n()) %>%
      arrange(origin, desc(num_flights)) %>% 
      group_by(origin) %>% 
      slice_max(n = 3, order_by = num_flights)  
    `summarise()` has grouped output by 'origin'. You can override using the
    `.groups` argument.
    print(top_destinations)
    # A tibble: 9 × 4
    # Groups:   origin [3]
      origin dest  avg_distance num_flights
      <chr>  <chr>        <dbl>       <int>
    1 EWR    ORD            719        6100
    2 EWR    BOS            200        5327
    3 EWR    SFO           2565        5127
    4 JFK    LAX           2475       11262
    5 JFK    SFO           2586        8204
    6 JFK    BOS            187        5898
    7 LGA    ATL            762       10263
    8 LGA    ORD            733        8857
    9 LGA    CLT            544        6168

2 第二题 解释代码

  1. 代码含义:首先将 iris 数据集转换为 tibble。然后对数据进行排序:首先按 Species 列升序排列。然后对每个 Species 组内的数据,按 Sepal.LengthSepal.Width 列降序排列。比如当Species都同时为setosa时,再根据Sepal.Length进行降序排序,若Sepal.Length相同,则根据Sepal.Width再进行降序排序

    tibble(iris) %>% 
      arrange(Species,across(starts_with("Sepal"), desc))
    # A tibble: 150 × 5
       Sepal.Length Sepal.Width Petal.Length Petal.Width Species
              <dbl>       <dbl>        <dbl>       <dbl> <fct>  
     1          5.8         4            1.2         0.2 setosa 
     2          5.7         4.4          1.5         0.4 setosa 
     3          5.7         3.8          1.7         0.3 setosa 
     4          5.5         4.2          1.4         0.2 setosa 
     5          5.5         3.5          1.3         0.2 setosa 
     6          5.4         3.9          1.7         0.4 setosa 
     7          5.4         3.9          1.3         0.4 setosa 
     8          5.4         3.7          1.5         0.2 setosa 
     9          5.4         3.4          1.7         0.2 setosa 
    10          5.4         3.4          1.5         0.4 setosa 
    # ℹ 140 more rows
  2. 代码含义:在starwars数据框中,首先按性别分组,然后筛选出每个性别组中t体重大于该组平均体重的角色。结果呈现为一个新的数据框,其中只包含那些体重大于其性别组平均体重的角色。

    starwars %>% 
     group_by(gender) %>% 
     filter(mass > mean(mass, na.rm = TRUE))
    # A tibble: 15 × 14
    # Groups:   gender [3]
       name    height   mass hair_color skin_color eye_color birth_year sex   gender
       <chr>    <int>  <dbl> <chr>      <chr>      <chr>          <dbl> <chr> <chr> 
     1 Darth …    202  136   none       white      yellow          41.9 male  mascu…
     2 Owen L…    178  120   brown, gr… light      blue            52   male  mascu…
     3 Beru W…    165   75   brown      light      blue            47   fema… femin…
     4 Chewba…    228  112   brown      unknown    blue           200   male  mascu…
     5 Jabba …    175 1358   <NA>       green-tan… orange         600   herm… mascu…
     6 Jek To…    180  110   brown      fair       blue            NA   <NA>  <NA>  
     7 IG-88      200  140   none       metal      red             15   none  mascu…
     8 Bossk      190  113   none       green      red             53   male  mascu…
     9 Ayla S…    178   55   none       blue       hazel           48   fema… femin…
    10 Gregar…    185   85   black      dark       brown           NA   <NA>  <NA>  
    11 Lumina…    170   56.2 black      yellow     blue            58   fema… femin…
    12 Zam We…    168   55   blonde     fair, gre… yellow          NA   fema… femin…
    13 Shaak …    178   57   none       red, blue… black           NA   fema… femin…
    14 Grievo…    216  159   none       brown, wh… green, y…       NA   male  mascu…
    15 Tarfful    234  136   brown      brown      blue            NA   male  mascu…
    # ℹ 5 more variables: homeworld <chr>, species <chr>, films <list>,
    #   vehicles <list>, starships <list>
  3. 代码含义:在starwars数据框中,首先选择name、homeworld和species三列,然后将除了name之外的两列转化为因子类型,最终的结果是一个新的数据框,包含name、homeworld和species三列,其中homeworld和species两列的数据类型是因子。

    starwars %>%
      select(name, homeworld, species) %>%
      mutate(across(!name, as.factor))
    # A tibble: 87 × 3
       name               homeworld species
       <chr>              <fct>     <fct>  
     1 Luke Skywalker     Tatooine  Human  
     2 C-3PO              Tatooine  Droid  
     3 R2-D2              Naboo     Droid  
     4 Darth Vader        Tatooine  Human  
     5 Leia Organa        Alderaan  Human  
     6 Owen Lars          Tatooine  Human  
     7 Beru Whitesun Lars Tatooine  Human  
     8 R5-D4              Tatooine  Droid  
     9 Biggs Darklighter  Tatooine  Human  
    10 Obi-Wan Kenobi     Stewjon   Human  
    # ℹ 77 more rows
  4. 代码含义:

    tibble(mtcars) %>%
      group_by(vs) %>%
      mutate(hp_cut = cut(hp, 3)) %>%
      group_by(hp_cut)
    # A tibble: 32 × 12
    # Groups:   hp_cut [6]
         mpg   cyl  disp    hp  drat    wt  qsec    vs    am  gear  carb hp_cut     
       <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <fct>      
     1  21       6  160    110  3.9   2.62  16.5     0     1     4     4 (90.8,172] 
     2  21       6  160    110  3.9   2.88  17.0     0     1     4     4 (90.8,172] 
     3  22.8     4  108     93  3.85  2.32  18.6     1     1     4     1 (75.7,99.3]
     4  21.4     6  258    110  3.08  3.22  19.4     1     0     3     1 (99.3,123] 
     5  18.7     8  360    175  3.15  3.44  17.0     0     0     3     2 (172,254]  
     6  18.1     6  225    105  2.76  3.46  20.2     1     0     3     1 (99.3,123] 
     7  14.3     8  360    245  3.21  3.57  15.8     0     0     3     4 (172,254]  
     8  24.4     4  147.    62  3.69  3.19  20       1     0     4     2 (51.9,75.7]
     9  22.8     4  141.    95  3.92  3.15  22.9     1     0     4     2 (75.7,99.3]
    10  19.2     6  168.   123  3.92  3.44  18.3     1     0     4     4 (99.3,123] 
    # ℹ 22 more rows

这段代码的作用是:

  1. mtcars数据集转换为tibble格式。

  2. 按发动机类型(vs)分组。

  3. 在每组中,将马力(hp)分成3个等宽的区间,并创建一个新列hp_cut表示每个马力值所属的区间。

  4. 最后,按hp_cut(马力区间)进一步分组。

最终的结果是一个按vshp_cut双重分组的数据集。

3 第三题 查找帮助理解函数

阅读 https://dplyr.tidyverse.org/reference/mutate-joins.html 内容,说明4个数据集链接函数函数的作用。分别举一个实际例子演示并解释其输出结果。

  1. inner_join()

    library(dplyr)
    
    # 创建数据集
    df1 <- data.frame(
      EmployeeID = c(1, 2, 3, 4),
      Name = c("Alice", "Bob", "Charlie", "David"),
      DepartmentID = c(101, 102, 103, 104)
    )
    
    df2 <- data.frame(
      DepartmentID = c(101, 102, 103, 105),
      DepartmentName = c("HR", "Finance", "IT", "Marketing")
    )
    
    # 内连接
    result <- inner_join(df1, df2, by = "DepartmentID")
    
    # 输出结果
    print(result)
      EmployeeID    Name DepartmentID DepartmentName
    1          1   Alice          101             HR
    2          2     Bob          102        Finance
    3          3 Charlie          103             IT

    inner_join() 是数据操作中常用的函数,用于将两个数据集按照指定的键(key)进行连接,并返回两个数据集中键匹配的行。它属于“内连接”操作,即只保留两个数据集中键值匹配的行,不匹配的行会被丢弃。

    3.0.1 解释

    1. 匹配规则inner_join() 根据 DepartmentID 列进行匹配。

    2. 匹配结果

      • df1 中的 DepartmentID101102103 的行与 df2 中的对应行匹配。

      • df1 中的 DepartmentID104 的行在 df2 中没有匹配项,因此被丢弃。

      • df2 中的 DepartmentID105 的行在 df1 中没有匹配项,因此也被丢弃。

    3. 输出:最终结果只包含两个数据集中 DepartmentID 匹配的行,并合并了 DepartmentName 列。

  2. left_join()

    library(dplyr)
    
    # 创建数据集
    df1 <- data.frame(
      EmployeeID = c(1, 2, 3, 4),
      Name = c("Alice", "Bob", "Charlie", "David"),
      DepartmentID = c(101, 102, 103, 104)
    )
    
    df2 <- data.frame(
      DepartmentID = c(101, 102, 103, 105),
      DepartmentName = c("HR", "Finance", "IT", "Marketing")
    )
    
    # 左连接
    result <- left_join(df1, df2, by = "DepartmentID")
    
    # 输出结果
    print(result)
      EmployeeID    Name DepartmentID DepartmentName
    1          1   Alice          101             HR
    2          2     Bob          102        Finance
    3          3 Charlie          103             IT
    4          4   David          104           <NA>

    left_join() 是数据操作中常用的函数,用于将两个数据集按照指定的键(key)进行连接,并返回以左侧数据集(第一个数据集)为基础的所有行,同时将右侧数据集(第二个数据集)中匹配的行合并进来。如果右侧数据集中没有匹配的行,则用 NA 填充。它属于“左连接”操作。

    3.0.2 解释

    1. 匹配规则left_join() 根据 DepartmentID 列进行匹配。

    2. 匹配结果

      • df1 中的 DepartmentID101102103 的行与 df2 中的对应行匹配,因此合并了 DepartmentName

      • df1 中的 DepartmentID104 的行在 df2 中没有匹配项,因此 DepartmentName 显示为 NA

      • df2 中的 DepartmentID105 的行在 df1 中没有匹配项,因此被忽略。

    3. 输出:最终结果包含 df1 的所有行,并合并了 df2 中匹配的 DepartmentName 列,未匹配的部分用 NA 填充。

  3. right_join()

    library(dplyr)
    
    # 创建数据集
    df1 <- data.frame(
      EmployeeID = c(1, 2, 3, 4),
      Name = c("Alice", "Bob", "Charlie", "David"),
      DepartmentID = c(101, 102, 103, 104)
    )
    
    df2 <- data.frame(
      DepartmentID = c(101, 102, 103, 105),
      DepartmentName = c("HR", "Finance", "IT", "Marketing")
    )
    
    # 右连接
    result <- right_join(df1, df2, by = "DepartmentID")
    
    # 输出结果
    print(result)
      EmployeeID    Name DepartmentID DepartmentName
    1          1   Alice          101             HR
    2          2     Bob          102        Finance
    3          3 Charlie          103             IT
    4         NA    <NA>          105      Marketing

    right_join() 是数据操作中常用的函数,用于将两个数据集按照指定的键(key)进行连接,并返回以右侧数据集(第二个数据集)为基础的所有行,同时将左侧数据集(第一个数据集)中匹配的行合并进来。如果左侧数据集中没有匹配的行,则用 NA 填充。它属于“右连接”操作。

    3.0.3 解释

    1. 匹配规则right_join() 根据 DepartmentID 列进行匹配。

    2. 匹配结果

      • df2 中的 DepartmentID101102103 的行与 df1 中的对应行匹配,因此合并了员工信息(EmployeeIDName)。

      • df2 中的 DepartmentID105 的行在 df1 中没有匹配项,因此员工信息(EmployeeIDName)显示为 NA

      • df1 中的 DepartmentID104 的行在 df2 中没有匹配项,因此被忽略。

    3. 输出:最终结果包含 df2 的所有行,并合并了 df1 中匹配的员工信息,未匹配的部分用 NA 填充。

  4. full_join()

    library(dplyr)
    
    # 创建数据集
    df1 <- data.frame(
      EmployeeID = c(1, 2, 3, 4),
      Name = c("Alice", "Bob", "Charlie", "David"),
      DepartmentID = c(101, 102, 103, 104)
    )
    
    df2 <- data.frame(
      DepartmentID = c(101, 102, 103, 105),
      DepartmentName = c("HR", "Finance", "IT", "Marketing")
    )
    
    # 全连接
    result <- full_join(df1, df2, by = "DepartmentID")
    
    # 输出结果
    print(result)
      EmployeeID    Name DepartmentID DepartmentName
    1          1   Alice          101             HR
    2          2     Bob          102        Finance
    3          3 Charlie          103             IT
    4          4   David          104           <NA>
    5         NA    <NA>          105      Marketing

full_join() 是数据操作中常用的函数,用于将两个数据集按照指定的键(key)进行连接,并返回两个数据集中所有行的合并结果。无论键值是否匹配,所有行都会被保留。如果某个数据集中的键值在另一个数据集中没有匹配项,则用 NA 填充。它属于“全连接”操作。

3.0.4 解释

  1. 匹配规则full_join() 根据 DepartmentID 列进行匹配。

  2. 匹配结果

    • df1 中的 DepartmentID101102103 的行与 df2 中的对应行匹配,因此合并了 DepartmentName

    • df1 中的 DepartmentID104 的行在 df2 中没有匹配项,因此 DepartmentName 显示为 NA

    • df2 中的 DepartmentID105 的行在 df1 中没有匹配项,因此员工信息(EmployeeIDName)显示为 NA

  3. 输出:最终结果包含两个数据集的所有行,并合并了匹配的列,未匹配的部分用 NA 填充。