Persiapan Data dan Paket

Latihan ini akan menggunakan beberapa paket, di antaranya DBI (R Special Interest Group on Databases (R-SIG-DB), Wickham, and Müller 2021) dan RSQLite (Müller et al. 2021) untuk koneksi ke database, dplyr atau tidyverse untuk pengolahan data, dan knitr untuk mengatur output dari markdown. Jika belum terinstall, silakan install terlebih dahulu.

# opsional, jika belum terinstall
install.packages(c("RSQLite", "DBI", "dplyr"), dependencies = TRUE)

Lalu load ke dalam workspace

library(dplyr)
library(RSQLite)

Selanjutnya, buat connection object yang akan menghubungkan R dengan database/file SQLite. Dalam hal ini, file SQLite adalah Northwind_large.sqlite yang ada pada folder Northwind di working directory.

conn <- dbConnect(SQLite(), "Northwind/Northwind_large.sqlite")
class(conn)

## [1] "SQLiteConnection"
## attr(,"package")
## [1] "RSQLite"

Untuk memeriksa apakah sudah terkoneksi dengan benar, kita lihat tabel apa saja yang ada dalam database.

# list table
RSQLite::dbListTables(conn)

##  [1] "Category"             "Customer"             "CustomerCustomerDemo"
##  [4] "CustomerDemographic"  "Employee"             "EmployeeTerritory"   
##  [7] "Order"                "OrderDetail"          "Product"             
## [10] "ProductDetails_V"     "Region"               "Shipper"             
## [13] "Supplier"             "Territory"

Setelah itu kita buat tabel dari SQLite untuk diolah dengan dplyr

Order <- tbl(conn, "Order")
OrderDetail <- tbl(conn, "OrderDetail")
Customer <- tbl(conn, "Customer")
Supplier <- tbl(conn, "Supplier")
Product <- tbl(conn, "Product")
Shipper <- tbl(conn, "Shipper")

Inner Join: inner_join()

Inner join menggabungkan dua tabel di mana kolom key saling bersesuaian, atau ditemukan di kedua tabel. Dengan inner join, tabel akan digabungkan dua arah, sehingga tidak ada data yang kosong di salah satu sisi. Perintah inner join di dplyr adalah inner_join() dan akan mengeluarkan kolom-kolom dari kedua tabel.

Contoh 1: Menghitung jumlah order dan total amount (dari tabel OrderDetail) berdasarkan shipping region (dari tabel Order).

Order %>%
  inner_join(OrderDetail, by = c("Id" = "OrderId")) %>%
  group_by(ShipRegion) %>%
  summarise(TotalOrder = n_distinct(Id.x),
            TotalAmount = sum(UnitPrice*Quantity)) %>%
  ungroup()

Contoh 2: Menghitung jumlah order dan total amount (dari tabel OrderDetail) berdasarkan perusahaan shipper (dari tabel Shipper). Meskipun kolom-kolom tersebut berasal dari dua tabel, kita membutuhkan tabel Order untuk menghubungkan keduanya. Sehingga dilakukan dua kali join.

Order %>%
  inner_join(OrderDetail, by = c("Id" = "OrderId")) %>%
  inner_join(Shipper, by = c("ShipVia" = "Id")) %>%
  group_by(ShipperCompanyName = CompanyName) %>%
  summarise(TotalOrder = n(),
            TotalAmount = sum(UnitPrice*Quantity)) %>%
  ungroup()

Semi Join: semi_join()

Semi join mirip dengan inner join. Hanya saja, pada semi join, tidak menghasilkan output yang duplikat. Perintah semi join di dplyr adalah semi_join() dan hanya mengeluarkan kolom-kolom dari tabel pertama.

Contoh: Menghitung jumlah pelanggan (dari tabel Customer) yang pernah melakukan transaksi (dari tabel Order).

Customer %>%
  semi_join(Order, by = c("Id" = "CustomerId")) %>%
  group_by(Region) %>%
  summarise(TotaCustomerWithOrder = n()) %>%
  ungroup()

Perhatikan perbedaannya dengan hasil inner join di contoh sebelumnya.

Left Join: left_join()

Left join menggabungkan dua tabel dengan mengambil seluruh baris dari tabel pertama (tabel kiri/left). Jika ada key yang sesuai di kolom kedua, maka kolom-kolomnya akan diambil. Sedangkan kolom-kolom lain di mana key tidak sesuai akan diisi dengan NA (di SQL diisi dengan NULL). Dengan left join, tabel akan digabungkan bersifat satu arah, sehingga ada kemungkinan data kosong di tabel kedua. Perintah left join di dplyr adalah left_join() dan akan mengeluarkan kolom-kolom dari kedua tabel.

Contoh 1: Menghitung jumlah order (dari tabel Order) berdasarkan regional asal pelanggan (dari tabel Customer). Karena tidak semua transaksi dilakukan oleh pelanggan terdaftar, maka memungkinkan diperoleh regional yang kosong.

Order %>%
  left_join(Customer,  by = c("CustomerId" = "Id")) %>%
  group_by(Region) %>%
  summarise(TotalOrder = n()) %>%
  ungroup()

Contoh 2: Menghitung jumlah order (dari tabel Order) berdasarkan regional asal pelanggan (dari tabel Customer) dan perusahaan shipper (dari tabel Shipper). Karena ada tiga tabel, kita dapat lakukan dua kali join.

Order %>%
  left_join(Customer,  by = c("CustomerId" = "Id")) %>%
  inner_join(Shipper, by = c("ShipVia" = "Id")) %>%
  group_by(Region,  
           ShipperCompanyName = CompanyName.y) %>%
  summarise(TotalOrder = n()) %>%
  ungroup()

Right Join: right_join()

Berkebalikan dengan left join, perintah right join akan menampilkan semua baris dari tabel kedua (tabel kanan/right). Jika ada key yang sesuai di kolom pertama, maka kolom-kolomnya akan diambil. Jika key tidak bersesuaian, maka akan diisi dengan NA. Perintah left join di dplyr adalah right_join() dan akan mengeluarkan kolom-kolom dari kedua tabel.

Contoh: Kedua perintah right_join() berikut akan menghasilkan output yang sama seperti contoh left_join() di atas.

Customer %>%
  right_join(Order,  by = c("Id" = "CustomerId")) %>%
  group_by(CustomerRegion = Region) %>%
  summarise(TotalOrder = n()) %>%
  ungroup()

Customer %>%
  right_join(Order,  by = c("Id" = "CustomerId")) %>%
  inner_join(Shipper, by = c("ShipVia" = "Id")) %>%
  group_by(CustomerRegion = Region,  ShipperCompanyName = CompanyName.y) %>%
  summarise(TotalOrder = n()) %>%
  ungroup()

Full Join: full_join()

Berbeda dengan dengan left ataupun right join, perintah full join atau full outer join akan menampilkan semua baris dari kedua tabel. Jika key yang besesuaian maka data dari kolom-kolomnya akan diambil. Jika key tidak saling besesuaian, maka kedua sisi akan diisi dengan NA. Perintah full outer join di dplyr adalah full_join() dan akan mengeluarkan kolom-kolom dari kedua tabel.

Contoh 1: Menghitung jumlah order (dari tabel Order) berdasarkan regional asal pelanggan (dari tabel Customer) dan regional tujuan pengiriman (dari tabel Order). Karena tidak semua transaksi dilakukan oleh pelanggan terdaftar, dan diasumsikan tidak semua pelanggan penah melakukan transaksi, maka memungkinkan diperoleh regional pelanggan dan regional tujuan yang kosong.

Customer %>%
  full_join(Order,  by = c("Id" = "CustomerId")) %>%
  group_by(CustomerRegion = Region, ShipRegion) %>%
  summarise(TotalOrder = n()) %>%
  ungroup()

Ternyata semua transaksi dilakukan oleh pelanggan-pelanggan yang ada di tabel Customer sehingga hasil dari perintah full outer join di atas sama seperti left join di contoh sebelumnya.

Contoh 2: Menghitung jumlah pelanggan (dari tabel Customer) dan jumlah supplier (dari tabel Supplier) berdasarkan regional masing-masing. Pelanggan maupun supplier tidak berasal dari semua regional, sehingga ada kemungkinan ada regional yang kosong di salah satu sisi. Untuk meringkas peringah, kita terlebih dahulu membuat tabel agregasi berikut.

CustomerByRegion <- Customer %>% 
  group_by(Region) %>%
  summarise(TotalCustomer = n()) %>%
  ungroup()

SupplierByRegion <- Supplier %>%
  group_by(Region) %>%
  summarise(TotalSupplier = n()) %>%
  ungroup()

Baru kemudian lakukan proses join.

CustomerByRegion %>%
  full_join(SupplierByRegion)

Perintah di atas dapat dijalankan tanpa membuat tabel agregasi terlebih dahulu, sebagai berikut.

Customer %>% 
  group_by(Region) %>%
  summarise(TotalCustomer = n()) %>%
  ungroup() %>%
  full_join(
    Supplier %>%
      group_by(Region) %>%
      summarise(TotalSupplier = n()) %>%
      ungroup() 
  )

Anti Join: anti_join()

Anti join berfungsi untuk menampilkan semua baris di tabel pertama yang key-nya tidak saling bersesuaian dengan tabel kedua. Perintah anti join di dplyr adalah anti_join() dan hanya menampilkan kolom-kolom dari tabel pertama.

Contoh 1: Menggunakan tabel yang dibuat pada contoh sebelumnya, akan ditampilkan regional dan jumlah pelanggannya, yang tidak ada di tabel regional supplier.

CustomerByRegion %>%
  anti_join(SupplierByRegion)

Contoh 2: Anti join dapat diperoleh dengan memodifikasi full outer join sebagai berikut

CustomerByRegion %>%
  full_join(SupplierByRegion) %>%
  filter(is.na(TotalSupplier)) %>%
  select(-TotalSupplier)

Order %>%
  anti_join(Customer, by = c("CustomerId" = "Id")) %>%
  group_by(ShipRegion) %>%
  summarise(TotalOrder = n())

Join dengan SQLite

Join merupakan salah satu fungsi utama dalam SQL. Namun tidak semua RDBMS dilengkapi dengan fungsi join yang lengkap. Fungsi standar yang biasanya ada di banyak RDBMS antara lain inner join, left join, right join, dan full outer join. Anti join dan semi join jarang dijumpai di RDBMS. Bahkan di SQLite hanya ada inner join dan left join saja. Meskipun demikian, bukan berarti kita tidak bisa melakukan proses join seperti yang bisa dilakukan dplyr. Dengan sedikit langkah tambahan, seluruh proses join memungkinkan untuk dilakukan.

Di RMarkdown, kita bisa langsung terhubung dengan database dan melakukan perintah SQL. Caranya, perintah SQL harus di letakan di dalam chunk atau blok kode SQL {sql connection=connectioName}

SELECT o.ShipRegion
  , count(*) TotalOrder
  , sum(od.UnitPrice * od.Quantity) TotalAmount
FROM "Order" o
JOIN OrderDetail od
ON o.Id = od.OrderId
GROUP BY o.ShipRegion;

-- Left join
SELECT c.Region CustomerRegion
  , COUNT(*) TotalOrder
FROM "Order" o
LEFT JOIN Customer c
ON o.CustomerId = c.Id
GROUP BY c.Region;

SELECT c.Region
  , COUNT(*) TotalCustomerWithOrder
FROM Customer c
JOIN (
  SELECT DISTINCT CustomerId
  FROM "Order" ) o
ON c.Id = o.CustomerId
GROUP BY c.Region

SELECT c.Region CustomerRegion
  , COUNT(*) TotalOrder
FROM "Order" o
LEFT JOIN Customer c
ON o.CustomerId = c.Id
GROUP BY c.Region;

SELECT c.*, s.TotalSupplier
FROM (
  SELECT Region
    , COUNT(*) TotalCustomer
  FROM Customer
  GROUP BY Region ) c
LEFT JOIN (
  SELECT Region
    , COUNT(*) TotalSupplier
  FROM Supplier
  GROUP BY Region ) s
ON c.Region = s.Region

UNION ALL

SELECT s.Region, c.TotalCustomer, s.TotalSupplier
FROM (
  SELECT Region
    , COUNT(*) TotalSupplier
  FROM Supplier
  GROUP BY Region ) s
LEFT JOIN (
  SELECT Region
    , COUNT(*) TotalCustomer
  FROM Customer
  GROUP BY Region ) c
ON c.Region = s.Region
WHERE c.TotalCustomer IS NULL;

SELECT o.ShipRegion
  , COUNT(*) TotalOrder
FROM "Order" o
LEFT JOIN Customer c
ON o.CustomerId = c.Id
WHERE c.Id IS NULL
GROUP BY o.ShipRegion

Data Spasial

Data spasial merupakan data yang merepresentasikan gambaran kejadian di permukaan bumi yang disajikan dalam bentuk peta, grafik dan gambar berformat digital. Data spasial tidak hanya terdiri dari baris dan kolom seperti data tabular pada umumnya, tetapi juga mencakup informasi geometris objek seperti titik (koordinat), garis, dan poligon atau area. Format yang paling umum digunakan untuk data spasial adalah shapefiles yang dikembangkan oleh ESRI. Format lain yang bisa dipakai antara lain GeoJSON dan GeoPackage. Pada latihan ini akan fokus pada data spasial yang disimpan dalam format shapefiles.

Shapefiles merupakan format vektor dari data spasial yang terdiri dari beberapa ekstensi file (Rahma Anisa 2021), yaitu:

• Shapefile shape (.shp)
• Shapefile shape index (.shx)
• Shapefile attribute (.dbf)

Format shapefiles merupakan format yang sering banyak digunakan. Sehingga berbagai software yang mendukung analisis data spasial biasanya dapat digunakan untuk membuka dan mengelola shapefiles, termasuk R.

Data spasial biasanya disajikan dalam bentuk peta tematik. Salah satu jenis peta yang banyak digunakan adalah peta choropleth, yaitu jenis peta tematik yang merepresentasikan data/statistik menggunakan berbagai gradasi warna dan simbol di atas area area geografis tertentu (misalnya negara, provinsi, kabupaten dan lain-lain)(Rahmi 2021).

Membaca Data Spasial

Pada praktikum ini akan disajikan peta choropleth sebaran penduduk di Kota Bogor berdasarkan kecamatan. Shapefile diperoleh dari website data.humdata.org (HDX 2020). Sedangkan data penduduk diperoleh dari Visualisasi Data Kependudukan Kementerian Dalam Negeri (Kemendagri 2020).

Dalam R, ada beberapa paket yang dapat digunakan untuk membaca dan mengelola data spasial yaitu sf(Pebesma 2018) dan rgdal. Silakan install salah satu paket tersebut terlebih dahulu, lalu load ke dalam working space.

# opsional, jika belum terinstall
install.packages("sf")

library(sf)

Membaca data dapat dilakukan dengan menggunakan fungsi st_read(). Gambaran data dapat ditampilkan dengan fungsi glimpse() dari paket dplyr yang sudah kita persiapkan sebelumnya.

mapIndonesia <- st_read("map/shp/idn_admbnda_adm3_bps_20200401.shp", 
                        quiet = TRUE)
glimpse(mapIndonesia)

## Rows: 7,069
## Columns: 17
## $ Shape_Leng <dbl> 0.2798656, 0.7514001, 0.6900061, 0.6483629, 0.2437073, 1.35~
## $ Shape_Area <dbl> 0.003107633, 0.016925540, 0.024636382, 0.010761277, 0.00116~
## $ ADM3_EN    <chr> "2 X 11 Enam Lingkung", "2 X 11 Kayu Tanam", "Abab", "Abang~
## $ ADM3_PCODE <chr> "ID1306050", "ID1306052", "ID1612030", "ID5107050", "ID7471~
## $ ADM3_REF   <chr> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA,~
## $ ADM3ALT1EN <chr> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA,~
## $ ADM3ALT2EN <chr> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA,~
## $ ADM2_EN    <chr> "Padang Pariaman", "Padang Pariaman", "Penukal Abab Lematan~
## $ ADM2_PCODE <chr> "ID1306", "ID1306", "ID1612", "ID5107", "ID7471", "ID9432",~
## $ ADM1_EN    <chr> "Sumatera Barat", "Sumatera Barat", "Sumatera Selatan", "Ba~
## $ ADM1_PCODE <chr> "ID13", "ID13", "ID16", "ID51", "ID74", "ID94", "ID94", "ID~
## $ ADM0_EN    <chr> "Indonesia", "Indonesia", "Indonesia", "Indonesia", "Indone~
## $ ADM0_PCODE <chr> "ID", "ID", "ID", "ID", "ID", "ID", "ID", "ID", "ID", "ID",~
## $ date       <date> 2019-12-20, 2019-12-20, 2019-12-20, 2019-12-20, 2019-12-20~
## $ validOn    <date> 2020-04-01, 2020-04-01, 2020-04-01, 2020-04-01, 2020-04-01~
## $ validTo    <date> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA~
## $ geometry   <MULTIPOLYGON [°]> MULTIPOLYGON (((100.2811 -0..., MULTIPOLYGON (~

Terlihat bahwa data mapIndonesia hanya berisi informasi geografis. Untuk itu kita membutuhkan data tambahan.

dataBogor <- read.csv("data/Demografi-Bogor.csv")
dataBogor

Selanjutnya gabungkan kedua data tersebut menjadi satu. Karena kita hanya ingin menampilkan peta Kota Bogor, maka kita bisa gunakan fungsi inner_join() berdasarkan kolom ADM3_PCODE dari mapIndonesia dan kolom KodeBPS dari dataBogor.

mapBogor<- mapIndonesia %>%
  inner_join(dataBogor, by = c("ADM3_PCODE" = "KodeBPS"))
mapBogor

Peta Statis dengan ggplot2

Data spasial dan informasi jumlah penduduk kota bogor sudah tersedia dalam satu dataframe. Untuk menyajikan dalam peta, beberapa paket R dapat digunakan. Untuk jenis peta statis (biasanya untuk tujuan dicetak) paket ggplot2 (Wickham 2016) bisa menjadi pilihan yaitu dengan fungsi geom_sf(). Paket ggplot merupakan bagian dari tidyverse sehingga jika sudah terinstal, tidak perlu lagi menginstal paketnya.

# opsional, jika belum terinstal
install.packages("ggplot2")

library(ggplot2)

Konsep dari ggplot2 dalam visualisasi data adalah dengan mengkombinasikan data, stat dan geom atau layer. Pada perintah berikut, ggplot() akan menginisiasi layer kosong yang siap ditambahkan layer-layer lain diatasnya. Lalu geom_sf() akan memetakan data mapBogor, di mana setiap area/poligon akan diberi gradasi warna sesuai nilai pada kolom JumlahPenduduk.

p <- ggplot() +  
  geom_sf(data=mapBogor, aes(fill=JumlahPenduduk))
p

ggplot2 dilengkapi dengan banyak opsi untuk mengatur tampilkan dari output. Misalnya scale_fill_gradientn() untuk mengatur gradasi warna (secara otomatis ataupun costum), labs() untuk menambahkan judul grafik maupun keterangan sumbu, theme() untuk mengatur tema (legenda, jenis dan ukuran huruf, dan lain-lain), scale_**_continuous() pengaturan sumbu tegak maupun sumbu mendatar.

colorPalette = RColorBrewer::brewer.pal(5,"YlGnBu")
legendBreak = c(120,170,230)*1000
yBreak = seq(106.72, 106.86, by=0.04)

p + scale_fill_gradientn(colors = colorPalette, 
                       breaks = legendBreak, 
                       name = "Jumlah Penduduk") +
  labs(title = "Jumlah Penduduk Kota Bogor")  +
  theme(legend.text = element_text(size=7),
        legend.title = element_text(size=7),
        axis.text.x = element_text(size = 7),
        axis.text.y = element_text(size = 7),
        title = element_text(size=12, face='bold')) +
  scale_x_continuous(breaks = yBreak) 

Peta Interaktif dengan leaflet

Selain secara statis, peta choropleth juga dapat ditampilkan secara dinamis atau interaktif. Biasanya jika peta yang dibuat akan ditampilkan dalam halaman web. Disebut interaktif karena pengguna tidak hanya bisa “melihat” peta saja, tapi juga bisa berinteraksi langsung seperti memilih layer yang akan ditampilkan, memperbesar atau memperkecil peta, menyorot bagian tertentu pada peta untuk menampilkan data atau statistik, dan lain-lain.

Leaflet adalah salah satu JavaScript library yang paling populer untuk membuat peta interaktif. Untuk yang tidak familiar dengan JavaScript, peta leaflet dapat dibuat dibuat, diatur dan diintegrasikan dengan R menggunakan paket leaflet (Cheng, Karambelkar, and Xie 2021). Untuk menginstal paket, dapat dilakukan dengan perintah berikut:

# opsional, jika belum terinstal
install.packages("leaflet")

Lalu panggil ke dalam working space.

library(leaflet)

Selanjutnya leaflet dapat dibuat melalui R console atau diintegrasikan dalam RMarkdown dan aplikasi Shinny dengan cara yang mirip dengan ggplot2.

Berikut perintah-perintah untuk menampilkan jumlah penduduk Kota Bogor dengan peta leaflet.

1. leaflet(): inisiasi peta dengan memanggil fungsi leaflet()
2. addProviderTiles(): menambahkan peta dasar (base map) dengan perintah
3. addPolygons(): menabahkan poligon dengan gradasi warna berdasarkan jumlah penduduk. Pengaturan warna gradasi menggunakan colorNumeric(). Ditambahkan pula opsi label untu menampilkan popup, yang akan muncul ketika pengguna menyorot area tertentu.
4. addLegend(): menambahkan legenda
5. addLayersControl(): menampilkan tombol untuk memilih layer yang akan ditampilkan
6. setView(): mengatur posisi dan zooming default

# membuat custom palette warna
populationPalette <- colorNumeric(
  palette = "YlGnBu",
  domain = mapBogor$JumlahPenduduk
)

# membuat custom popup
popupLabel <- paste0(
    "<b>Kecamatan ", mapBogor$Kecamatan,"</b><br/>", 
    "Jumlah Penduduk (jiwa): ", mapBogor$JumlahPenduduk, "<br/>", 
    "Luas Wilayah (km2): ", mapBogor$LuasWilayah, "<br/>", 
    "Kepadatan Penduduk (jiwa/km2): ", mapBogor$KepadatanPenduduk) %>%
  lapply(htmltools::HTML)

# membuat peta leaflet
leaflet(mapBogor) %>% 
  addProviderTiles(providers$CartoDB.PositronNoLabels, group = "Light Mode") %>%
  addProviderTiles(providers$CartoDB.DarkMatterNoLabels, group = "Dark Mode") %>%
  
  addPolygons(weight = 1,
              opacity = 1, 
              fillOpacity = 0.9,
              label = popupLabel,
              color = ~populationPalette(JumlahPenduduk),
              highlightOptions = highlightOptions(color = "white", 
                                                  weight = 2, 
                                                  bringToFront = TRUE) ) %>%
  addLegend(position = "bottomright", 
            pal = populationPalette, 
            values = ~JumlahPenduduk,
            title = "Jumlah\nPenduduk",
            opacity = 1) %>%
  
  addLayersControl(position = 'topright',
                   baseGroups = c("Light Mode", "Dark Mode"),
                   options = layersControlOptions(collapsed = FALSE)) %>%
  
  setView(lat = - 6.595, lng = 106.87, zoom = 12)

Output peta di atas dapat diperbesar atau diperkecil, dan jika pengguna menyorot area tertentu maka akan muncul beberapa data dalam bentuk pop-up. Juga dapat memilih basemap yang akan digunakan, apakah terang atau gelap.

Sebetulnya peta ini masih bisa dikembangkan, misalnya dengan menambahkan data lain seperti kepadatan penduduk, jumlah penduduk menurut jenis kelamin dan data-data lainnya lalu pengguna diberi pilihan untuk memilih data apa yang ingin dilihatnya.