曖昧な関係のとりあつかい: fuzzyjoinパッケージ

difference_hoge_join

何はともあれパッケージを読み込んでおきましょう。未インストールの人はinstall.packages()しておきましょう。

library(dplyr)

## 
## Attaching package: 'dplyr'

## The following objects are masked from 'package:stats':
## 
##     filter, lag

## The following objects are masked from 'package:base':
## 
##     intersect, setdiff, setequal, union

library(DT)
library(fuzzyjoin)
library(sessioninfo)

今回はexampleがinner_joinで統一されているためinner_joinばかりを例にあげますが、必要なjoinに適宜置き換えてください。はじめに紹介するのはdifference_inner_joinです。以下のように、例にはみんな大好きirisデータを使います。

data(iris)
datatable(iris)

今回はSepal.Lengthをkeyにして、新しい変数Typeをjoinすることを考えます。TypeデータはSepal.Lengthに対応したデータですが、Typeデータを格納しているデータフレームに格納されているSepal.Lengthは以下のように大雑把な値でしか得られていないとします。

sepal_lengths <- data_frame(Sepal.Length = c(5, 6, 7), Type = 1:3)
sepal_lengths

## # A tibble: 3 x 2
##   Sepal.Length  Type
##          <dbl> <int>
## 1            5     1
## 2            6     2
## 3            7     3

通常のjoinではこのようなデータの結合には対応できませんが、ここで “difference_hoge_join: 数値データ対象。値にちょっとしたブレがある時に使う。” の出番です。

通常のdplyr::inner_join()と全く同じノリで書いて行けるので違和感がなくていいですね。 max_distには許容できる値のブレの大きさを記述します。今回は0.5とします。適当なところを切り出して表示してみましょう。

temp <- iris %>% difference_inner_join(sepal_lengths, max_dist = .5)

## Joining by: "Sepal.Length"

datatable(temp[50:69, ])

ブレの大きさの範囲内に入った値でTypeがjoinされていることがわかります。大まかには他の関数もこのノリで使っていけます。

distance_hoge_join

別の指標に基づきデータをつなぐこともできます。次に示すのは “distance_hoge_join:複数列の距離に基づきデータをつなぎたい。” です。例はirisが続投です。

data(iris)
datatable(iris)

さっきのsepal_lengthsに似ていますが、データが新規のtypeではなくSepal.Widthになっている点に注目です。

sepal_lengths <- data_frame(Sepal.Length = c(5, 6, 7),
                            Sepal.Width = 1:3)

datatable(sepal_lengths)

距離をどのような指標で計算するかについてはmethodで指定することになっています。デフォルト設定はeuclideanです。結果を見るに、2変数のユークリッド距離が近い組み合わせでjoinされるようです。

temp <- iris %>% distance_inner_join(sepal_lengths, max_dist = 2)

## Joining by: c("Sepal.Length", "Sepal.Width")

datatable(temp[50:59, ])

stringdist_hoge_join

次に “stringdist_hoge_join: 文字列をコサイン距離などに基づいて操作したい。” を使ってみましょう。データはggplot2パッケージに含まれているdiamondsデータを利用します。

library(ggplot2)
data(diamonds)

ダイアモンドのカットについて新しくtypeというデータを作り、素のdiamondsデータにマージすることを考えます。しかし、diamondsデータのkeyに使う変数cut内の要素名がいまいち思い出せず曖昧になってしまったので新しいデータのkeyにはだいたいこんな名前 (approximate_name) という名前をつけておき、要素名も雑に入れておきます。雑さ加減がmaxなのでPremiumっぽい要素名が2つあったり、VeryGoodが2つある上にtypeも別だったりとハチャメチャですがあまり気にしないことにします。

d <- data_frame(approximate_name = c("Idea", "Premiums", "Premioom",
                                     "VeryGood", "VeryGood", "Faiir"),
                type = 1:6)
datatable(d)

で、これを普通のinner_joinで処理しようとしても当然だめなわけです。曖昧ですしね。

diamonds %>% inner_join(d, by = c(cut = "approximate_name"))

## Warning: Column `cut`/`approximate_name` joining factor and character
## vector, coercing into character vector

## # A tibble: 0 x 11
## # ... with 11 variables: carat <dbl>, cut <chr>, color <ord>,
## #   clarity <ord>, depth <dbl>, table <dbl>, price <int>, x <dbl>,
## #   y <dbl>, z <dbl>, type <int>

fuzzyjoinは曖昧さを許容します。文字列の距離をどのような指標で計算するかについてはmethodで指定することになっています。デフォルト設定が何なのかパッケージのexsamplesには乗っていませんでしたが、 stringdist package のstringdist-methodsを見ろとあったのでその設定どおりだとするとoptimal string alignment (OSA) ではないかと思われます。

temp <- diamonds %>% stringdist_inner_join(d, by = c(cut = "approximate_name"))
datatable(temp[, c(1:4, 11:12)])

## Warning in instance$preRenderHook(instance): It seems your data is too
## big for client-side DataTables. You may consider server-side processing:
## https://rstudio.github.io/DT/server.html

曖昧な指定でしたがなんとなくうまく結合してくれたようです。似たような名前、同じ名前だけど違うtypeを指定した変数については2, 3, 2, 3… のように固定の繰り返しでtypeが入力されるようです。

geo_hoge_join

次に紹介するのは “geo_hoge_join: 緯度経度にブレがあるけどつなぎたい。” です。 今回はdplyrパッケージ内のアメリカの州についてのデータを例に、州の中心から隣の州の中心まで200マイル以内の州を抜き出したいという例です。

library(dplyr)
data(state)

とりあえず州の名前と中心の緯度経度を抜き出しておきましょう。

states <- data_frame(state = state.name,
                     longitude = state.center$x,
                     latitude = state.center$y)
datatable(states)

続いて結合先と結合元のデータを作っておきます。名前は違いますが中身は同じです。

s1 <- rename(states, state1 = state)
s2 <- rename(states, state2 = state)

その後データをgeo_inner_join()で結合します。max_distで距離を、距離の単位はunitで指定できます。デフォルトは"miles"ですが、"km"に変えることもできます。最後にstate1と2の名前が違うところを抽出して終わりです。

pairs <- s1 %>%
 geo_inner_join(s2, max_dist = 200, unit = "miles") %>%
 filter(state1 != state2)

## Joining by: c("longitude", "latitude")

datatable(pairs)

地図を書くとお隣と200マイル以内のところが線でつながっていることがわかります。

library(ggplot2)
ggplot(pairs, aes(x = longitude.x, y = latitude.x,
                  xend = longitude.y, yend = latitude.y)) +
  geom_segment(color = "red") +
  borders("state") +
  theme_void()

以下のコードでそれぞれの距離についても抜き出すことができます。

temp <- s1 %>% geo_inner_join(s2, max_dist = 200, distance_col = "distance")

## Joining by: c("longitude", "latitude")

datatable(temp[, c(1, 4, 7)])

ついでなので"km"にした場合も見ておきましょう。

pairs2 <- s1 %>%
 geo_inner_join(s2, max_dist = 200, unit = "km") %>%
 filter(state1 != state2)

## Joining by: c("longitude", "latitude")

datatable(pairs)

ずいぶんさっぱりしましたね。

ggplot(pairs2, aes(x = longitude.x, y = latitude.x,
                  xend = longitude.y, yend = latitude.y)) +
  geom_segment(color = "red") +
  borders("state") +
  theme_void()

genome_hoge_join

最後は “genome_hoge_join: intervalをゲノム向けにしたやつ？ chromosome IDとかに使う。” です。 interval_joinでもそうなのですが、BioconductorのIRangesパッケージがないと動かないので以下の感じでインストールしておいてください。

if (!requireNamespace("BiocManager", quietly = TRUE))
    install.packages("BiocManager")
BiocManager::install("IRanges", version = "3.8")

ゲノムについては研究がゲノムよりでないためあまりデータが意味するところをよく理解できていませんが、この解説 Tidy Genomics が参考になるかもしれません。

x1 <- data_frame(id1 = 1:4,
                 chromosome = c("chr1", "chr1", "chr2", "chr2"),
                 start = c(100, 200, 300, 400),
                 end = c(150, 250, 350, 450))

x2 <- data_frame(id2 = 1:4,
                 chromosome = c("chr1", "chr2", "chr2", "chr1"),
                 start = c(140, 210, 400, 300),
                 end = c(160, 240, 415, 320))

datatable(x1)

datatable(x2)

genome_inner_join(x1, x2, by = c("chromosome", "start", "end"))

## # A tibble: 2 x 8
##     id1 chromosome.x start.x end.x   id2 chromosome.y start.y end.y
##   <int> <chr>          <dbl> <dbl> <int> <chr>          <dbl> <dbl>
## 1     1 chr1             100   150     1 chr1             140   160
## 2     4 chr2             400   450     3 chr2             400   415

start, endがある程度近い値であればchromosomeで結合できるというでしょうか？これについてはinner_join以外の結合方法をいろいろ試したほうが良いのかもしれません。