library(readxl)
library(tidyverse)
library(lubridate)
library(ggplot2)

Input Dataset

Dataset yang digunakan diberi nama data_TMA_Jan, data_TMA_Feb, dan data_TMA_Mar yang masing-masing menyatakan data pengukuran tinggi muka air pada bulan Januari, Februari, dan Maret.

data_TMA_Jan <- read_excel("E:/Portofolio/Portofolio 1/TMA Depok 2023.xlsx", sheet=1)
data_TMA_Feb <- read_excel("E:/Portofolio/Portofolio 1/TMA Depok 2023.xlsx", sheet=2)
data_TMA_Mar <- read_excel("E:/Portofolio/Portofolio 1/TMA Depok 2023.xlsx", sheet=3)
head(data_TMA_Jan)
## # A tibble: 6 × 3
##   Tanggal             Jam   `Tinggi Air`
##   <dttm>              <chr>        <dbl>
## 1 2023-01-01 00:00:00 00:00         1350
## 2 2023-01-01 00:00:00 00:10            0
## 3 2023-01-01 00:00:00 00:20         1350
## 4 2023-01-01 00:00:00 00:30         1350
## 5 2023-01-01 00:00:00 00:40         1340
## 6 2023-01-01 00:00:00 00:50         1330
head(data_TMA_Feb)
## # A tibble: 6 × 3
##   Tanggal             Jam   `Tinggi Air`
##   <dttm>              <chr>        <dbl>
## 1 2023-02-01 00:00:00 00:00          930
## 2 2023-02-01 00:00:00 00:10            0
## 3 2023-02-01 00:00:00 00:20          940
## 4 2023-02-01 00:00:00 00:30          940
## 5 2023-02-01 00:00:00 00:40          940
## 6 2023-02-01 00:00:00 00:50          940
head(data_TMA_Mar)
## # A tibble: 6 × 3
##   Tanggal             Jam   `Tinggi Air`
##   <dttm>              <chr>        <dbl>
## 1 2023-03-01 00:00:00 00:00         1320
## 2 2023-03-01 00:00:00 00:10         -300
## 3 2023-03-01 00:00:00 00:20         1290
## 4 2023-03-01 00:00:00 00:30         1290
## 5 2023-03-01 00:00:00 00:40         1290
## 6 2023-03-01 00:00:00 00:50         1290

Deskripsi Data

Data yang digunakan adalah data tinggi muka air di Pos Pantau Depok yang diukur dalam satuan milimeter(mm) setiap 10 menit dari bulan Januari hingga Maret 2023. Data ini bersumber dari Dinas SDA Provinsi DKI Jakarta yang kemudian di-masking oleh pihak StarCore Analytics.

Melihat Distribusi Data Tiap Bulan

par(mfrow=c(2,1))
hist_jan <- hist(data_TMA_Jan$`Tinggi Air`, main="Histogram Tinggi Air Bulan Januari",
                 xlim=c(700, 1800), col="red", xlab="Tinggi Air")
boxplot_jan <- boxplot(data_TMA_Jan$`Tinggi Air`, main="Boxplot Tinggi Air Bulan Januari",
                       horizontal=T, col="red")

par(mfrow=c(2,1))
hist_feb <- hist(data_TMA_Feb$`Tinggi Air`, main="Histogram Tinggi Air Bulan Februari",
              xlab="Tinggi Air", breaks = 100, xlim=c(0,3000), col="green")
boxplot_feb <- boxplot(data_TMA_Feb$`Tinggi Air`, main="Boxplot Tinggi Air Bulan Februari",
                       horizontal = T, col="green")

par(mfrow=c(2,1))
hist_mar <- hist(data_TMA_Mar$`Tinggi Air`, main="Histogram Tinggi Air Bulan Maret",
              xlab="TinggiAir", col="blue")
boxplot_mar <- boxplot(data_TMA_Mar$`Tinggi Air`, main="Boxplot Tinggi Air Bulan Maret",
                       horizontal = T, col="blue")

Dari histogram dan boxplot tinggi muka air tiap bulan, terlihat adanya data anomali yaitu data yang bernilai nol dan negatif, serta data dengan nilai sangat besar. Untuk menyelidiki lebih lanjut, dataset data_TMA_Jan, data_TMA_Feb, dan data_TMA_Mar digabung menjadi dataset data_TMA.

Data Cleaning & Transformation

data_TMA <- rbind(data_TMA_Jan, data_TMA_Feb, data_TMA_Mar)
head(data_TMA)
## # A tibble: 6 × 3
##   Tanggal             Jam   `Tinggi Air`
##   <dttm>              <chr>        <dbl>
## 1 2023-01-01 00:00:00 00:00         1350
## 2 2023-01-01 00:00:00 00:10            0
## 3 2023-01-01 00:00:00 00:20         1350
## 4 2023-01-01 00:00:00 00:30         1350
## 5 2023-01-01 00:00:00 00:40         1340
## 6 2023-01-01 00:00:00 00:50         1330

1. Mengecek Ukuran dan Tipe Data

dim(data_TMA)
## [1] 11487     3
colnames(data_TMA)
## [1] "Tanggal"    "Jam"        "Tinggi Air"
str(data_TMA)
## tibble [11,487 × 3] (S3: tbl_df/tbl/data.frame)
##  $ Tanggal   : POSIXct[1:11487], format: "2023-01-01" "2023-01-01" ...
##  $ Jam       : chr [1:11487] "00:00" "00:10" "00:20" "00:30" ...
##  $ Tinggi Air: num [1:11487] 1350 0 1350 1350 1340 1330 1330 1320 1320 1310 ...

2. Mengecek Adanya Data Anomali

boxplot(data_TMA$`Tinggi Air`, main="Boxplot Tinggi Air",
        horizontal = T, col="orange")

summary(data_TMA$`Tinggi Air`)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##    -300     900     960    1035    1110   16180
data_TMA[data_TMA$`Tinggi Air`<=0 | data_TMA$`Tinggi Air`>=10000,]
## # A tibble: 15 × 3
##    Tanggal             Jam   `Tinggi Air`
##    <dttm>              <chr>        <dbl>
##  1 2023-01-01 00:00:00 00:10            0
##  2 2023-02-01 00:00:00 00:10            0
##  3 2023-02-12 00:00:00 19:00        15920
##  4 2023-02-12 00:00:00 19:10        15880
##  5 2023-02-12 00:00:00 19:20        15870
##  6 2023-02-12 00:00:00 19:30        15850
##  7 2023-02-12 00:00:00 19:40        16180
##  8 2023-03-01 00:00:00 00:10         -300
##  9 2023-03-17 00:00:00 08:00         -300
## 10 2023-03-21 00:00:00 10:00         -300
## 11 2023-03-22 00:00:00 07:20         -300
## 12 2023-03-22 00:00:00 09:00         -300
## 13 2023-03-24 00:00:00 06:50         -300
## 14 2023-03-25 00:00:00 06:40         -300
## 15 2023-03-27 00:00:00 07:10         -300

Terlihat adanya data tinggi air yang bernilai nol dan negatif, serta data dengan nilai yang sangat besar yaitu lebih dari 15000 mm (atau lebih dari 15 m). Kemudian, dapat dilihat bahwa pengukuran tinggi air pada pukul 00:10 di tanggal 1 pada setiap bulan selalu menghasilkan data anomali. Selain itu, untuk bulan Februari dan Maret data anomali juga terjadi pada beberapa waktu yang lain. Data anomali tersebut kemungkinan disebabkan oleh kerusakan alat. Oleh karena data anomali tersebut tidak logis, maka data tersebut dapat dihilangkan.

3. Menghilangkan Data Anomali

data_TMA <- data_TMA[data_TMA$`Tinggi Air`>0 & data_TMA$`Tinggi Air`<10000, ]
nrow(data_TMA)
## [1] 11472
summary(data_TMA$`Tinggi Air`)
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##     700     900     960    1030    1110    4810

4. Mengecek Adanya Missing Value

sum(is.na(data_TMA))
## [1] 0

Setelah dilakukan pengecekan, data tidak memuat missing value atau nilai kosong.

5. Mengecek Apakah terdapat Data yang Interval Jam-nya tidak tepat 10 Menit.

data_TMA[!with(data_TMA, grepl("0$", Jam)), ]
## # A tibble: 104 × 3
##    Tanggal             Jam   `Tinggi Air`
##    <dttm>              <chr>        <dbl>
##  1 2023-01-03 00:00:00 10:06         1150
##  2 2023-01-07 00:00:00 22:11         1000
##  3 2023-01-10 00:00:00 17:12         1100
##  4 2023-01-12 00:00:00 05:01          850
##  5 2023-01-15 00:00:00 14:24          800
##  6 2023-01-15 00:00:00 22:02          800
##  7 2023-01-17 00:00:00 03:22          950
##  8 2023-01-18 00:00:00 09:11          850
##  9 2023-01-25 00:00:00 06:06          900
## 10 2023-02-01 00:00:00 01:07          800
## # ℹ 94 more rows

Terlihat bahwa terdapat data tinggi air yang tidak diukur dalam interval tepat 10 menit. Selanjutnya, data tersebut akan dibulatkan ke dalam interval waktu 10 menit yang terdekat. Sebelumnya, kolom Jam digabungkan dengan kolom Tanggal sebagai kolom Waktu_Pengukuran dengan tipe data POSIXct.

6. Menggabungkan Kolom Jam dengan Kolom Tanggal

data_TMA["Waktu_Pengukuran"] <- as.POSIXct(paste(data_TMA$Tanggal, data_TMA$Jam), 
                                           format="%Y-%m-%d %H:%M")
head(data_TMA)
## # A tibble: 6 × 4
##   Tanggal             Jam   `Tinggi Air` Waktu_Pengukuran   
##   <dttm>              <chr>        <dbl> <dttm>             
## 1 2023-01-01 00:00:00 00:00         1350 2023-01-01 00:00:00
## 2 2023-01-01 00:00:00 00:20         1350 2023-01-01 00:20:00
## 3 2023-01-01 00:00:00 00:30         1350 2023-01-01 00:30:00
## 4 2023-01-01 00:00:00 00:40         1340 2023-01-01 00:40:00
## 5 2023-01-01 00:00:00 00:50         1330 2023-01-01 00:50:00
## 6 2023-01-01 00:00:00 01:00         1330 2023-01-01 01:00:00

7.Membulatkan Waktu yang Intervalnya tidak tepat 10 Menit

data_TMA$Waktu_Pengukuran <- round_date(data_TMA$Waktu_Pengukuran, "10 mins")

Berikutnya, dicek kembali apakah semua data yang intervalnya tidak tepat 10 menit telah dibulatkan ke waktu dengan interval 10 menit terdekat.

data_TMA[!with(data_TMA, grepl("0$", Jam)), ]
## # A tibble: 104 × 4
##    Tanggal             Jam   `Tinggi Air` Waktu_Pengukuran   
##    <dttm>              <chr>        <dbl> <dttm>             
##  1 2023-01-03 00:00:00 10:06         1150 2023-01-03 10:10:00
##  2 2023-01-07 00:00:00 22:11         1000 2023-01-07 22:10:00
##  3 2023-01-10 00:00:00 17:12         1100 2023-01-10 17:10:00
##  4 2023-01-12 00:00:00 05:01          850 2023-01-12 05:00:00
##  5 2023-01-15 00:00:00 14:24          800 2023-01-15 14:20:00
##  6 2023-01-15 00:00:00 22:02          800 2023-01-15 22:00:00
##  7 2023-01-17 00:00:00 03:22          950 2023-01-17 03:20:00
##  8 2023-01-18 00:00:00 09:11          850 2023-01-18 09:10:00
##  9 2023-01-25 00:00:00 06:06          900 2023-01-25 06:10:00
## 10 2023-02-01 00:00:00 01:07          800 2023-02-01 01:10:00
## # ℹ 94 more rows

8. Mengambil Nilai dari Kolom Waktu Pengukuran dan Tinggi Air

data_TMA <- subset(data_TMA, select=c("Waktu_Pengukuran", "Tinggi Air"))
head(data_TMA)
## # A tibble: 6 × 2
##   Waktu_Pengukuran    `Tinggi Air`
##   <dttm>                     <dbl>
## 1 2023-01-01 00:00:00         1350
## 2 2023-01-01 00:20:00         1350
## 3 2023-01-01 00:30:00         1350
## 4 2023-01-01 00:40:00         1340
## 5 2023-01-01 00:50:00         1330
## 6 2023-01-01 01:00:00         1330

9. Mengecek Adanya Data Duplikat dan Menghilangkannya

sum(duplicated(data_TMA))
## [1] 70
data_TMA[duplicated(data_TMA), ]
## # A tibble: 70 × 2
##    Waktu_Pengukuran    `Tinggi Air`
##    <dttm>                     <dbl>
##  1 2023-01-01 13:20:00         1600
##  2 2023-01-02 02:10:00         1250
##  3 2023-01-02 03:00:00         1240
##  4 2023-01-02 03:10:00         1240
##  5 2023-01-03 10:20:00         1280
##  6 2023-01-03 11:20:00         1260
##  7 2023-01-04 12:50:00         1250
##  8 2023-01-04 13:30:00         1240
##  9 2023-01-04 13:40:00         1240
## 10 2023-01-08 18:50:00         1570
## # ℹ 60 more rows

Setelah dilakukan pengecekan, terdapat data duplikat sebanyak 70 data. Selanjutnya, data duplikat tersebut dihilangkan.

data_TMA <- data_TMA[!duplicated(data_TMA), ]
sum(duplicated(data_TMA))
## [1] 0

Setelah dicek kembali, dataset data_TMA sudah tidak memuat data duplikat.

10. Mengambil Data Pengukuran Tiap Jam

Selanjutnya, dari dataset data_TMA diambil data tinggi air tiap jam-nya dan diperoleh dataset data_per_jam.

data_per_jam <- data_TMA[minute(data_TMA$Waktu_Pengukuran)==0, ]
head(data_per_jam)
## # A tibble: 6 × 2
##   Waktu_Pengukuran    `Tinggi Air`
##   <dttm>                     <dbl>
## 1 2023-01-01 00:00:00         1350
## 2 2023-01-01 01:00:00         1330
## 3 2023-01-01 02:00:00         1310
## 4 2023-01-01 03:00:00         1280
## 5 2023-01-01 04:00:00         1270
## 6 2023-01-01 05:00:00         1250
tail(data_per_jam)
## # A tibble: 6 × 2
##   Waktu_Pengukuran    `Tinggi Air`
##   <dttm>                     <dbl>
## 1 2023-03-27 15:00:00          920
## 2 2023-03-27 16:00:00          940
## 3 2023-03-27 17:00:00          980
## 4 2023-03-27 18:00:00          940
## 5 2023-03-27 19:00:00          920
## 6 2023-03-27 20:00:00          910
nrow(data_per_jam)
## [1] 1938

Dataset data_per_jam berisi data tinggi air yang diambil dari tanggal 1 Januari pukul 00:00 hingga 27 Maret pukul 20:00 dengan interval 1 jam. Dataset tersebut seharusnya berjumlah 2061 baris, tapi ternyata hanya ada 1938 baris. Ini menunjukkan bahwa ada beberapa waktu yang tinggi airnya tidak tercatat.

11. Membuat Data Waktu Pengukuran dari 1 Januari hingga 27 Maret dengan Interval 1 Jam

Waktu_Pengukuran <- seq.POSIXt(ISOdate(2023,1,1,0,0), ISOdate(2023,3,27,20,0), by="hour")
length(Waktu_Pengukuran)
## [1] 2061
data_waktu_lengkap <- as.data.frame(Waktu_Pengukuran)
head(data_waktu_lengkap)
##      Waktu_Pengukuran
## 1 2023-01-01 00:00:00
## 2 2023-01-01 01:00:00
## 3 2023-01-01 02:00:00
## 4 2023-01-01 03:00:00
## 5 2023-01-01 04:00:00
## 6 2023-01-01 05:00:00

12. Mengecek Adanya Missing Value

Berikutnya dataset data_waktu_lengkap digabungkan dengan dataset data_per_jam menjadi dataset data_join untuk melihat pada jam berapa saja data tinggi air bernilai kosong.

data_join <- merge(data_waktu_lengkap, data_per_jam, by="Waktu_Pengukuran", all.x=T)
dim(data_join)
## [1] 2061    2
sum(is.na(data_join))
## [1] 123
head(data_join[is.na(data_join$`Tinggi Air`)==T,], 10)
##        Waktu_Pengukuran Tinggi Air
## 33  2023-01-02 08:00:00         NA
## 59  2023-01-03 10:00:00         NA
## 127 2023-01-06 06:00:00         NA
## 151 2023-01-07 06:00:00         NA
## 216 2023-01-09 23:00:00         NA
## 369 2023-01-16 08:00:00         NA
## 513 2023-01-22 08:00:00         NA
## 775 2023-02-02 06:00:00         NA
## 776 2023-02-02 07:00:00         NA
## 777 2023-02-02 08:00:00         NA

13. Penanganan Missing Value

Data tinggi air tiap jam yang masih kosong diisi dengan rata-rata dari tinggi air 1 jam sebelumnya dan 1 jam sesudahnya. Apabila data 1 jam sesudahnya juga kosong, maka diisi dengan data 1 jam sebelumnya.

#Membuat Fungsi untuk Penanganan Mssing Value
fill_NA <- function(x){
  for(i in which(is.na(x)==T)){
    if(is.na(x[i+1])==F){
      x[i] <- mean(c(x[i-1], x[i+1]))
    }
    else{
      x[i] <- x[i-1]
    }
  }
  return(x)
}
data_join$`Tinggi Air` <- fill_NA(data_join$`Tinggi Air`)
sum(is.na(data_join$`Tinggi Air`))
## [1] 0

14. Mengubah Tinggi Air ke dalam Satuan Centimeter

data_join$`Tinggi Air`<- data_join$`Tinggi Air`/10
head(data_join)
##      Waktu_Pengukuran Tinggi Air
## 1 2023-01-01 00:00:00        135
## 2 2023-01-01 01:00:00        133
## 3 2023-01-01 02:00:00        131
## 4 2023-01-01 03:00:00        128
## 5 2023-01-01 04:00:00        127
## 6 2023-01-01 05:00:00        125

Eksplorasi Data

Pada bagian ini, dataset yang digunakan adalah dataset data_join yang sudah melalui proses Data Cleaning & Transformation.

ggplot(data_join, aes(Waktu_Pengukuran, `Tinggi Air`)) + geom_line() +
  ggtitle("Plot Time Series Data Tinggi Muka Air di Pos Pantau Depok", )+
  labs(x="Waktu", y="Tinggi Air (cm)")

summary(data_join)
##  Waktu_Pengukuran                Tinggi Air   
##  Min.   :2023-01-01 00:00:00   Min.   : 75.0  
##  1st Qu.:2023-01-22 11:00:00   1st Qu.: 90.0  
##  Median :2023-02-12 22:00:00   Median : 97.0  
##  Mean   :2023-02-12 22:00:00   Mean   :104.2  
##  3rd Qu.:2023-03-06 09:00:00   3rd Qu.:114.0  
##  Max.   :2023-03-27 20:00:00   Max.   :233.0
data_join[data_join$`Tinggi Air`==min(data_join$`Tinggi Air`),]
##        Waktu_Pengukuran Tinggi Air
## 476 2023-01-20 19:00:00         75
data_join[data_join$`Tinggi Air`==max(data_join$`Tinggi Air`),]
##         Waktu_Pengukuran Tinggi Air
## 1726 2023-03-13 21:00:00        233

Tinggi air paling rendah adalah 75 cm yang terjadi pada tanggal 20 Januari 2023 pukul 19:00, sementara paling tinggi terjadi pada tanggal 13 Maret 2023 pukul 21:00 dengan ketinggian 233 cm.

par(mfrow=c(2,1))
hist(data_join$`Tinggi Air`, main="Histogram Tinggi Air",
              xlab="Tinggi Air", col="orange")
boxplot(data_join$`Tinggi Air`, main="Boxplot Tinggi Air",
                       horizontal = T, col="orange")

Histogram tinggi air per jam menunjukkan kecenderungan menjulur ke kanan. Berdasarkan Boxplot dapat diperoleh informasi bahwa 50% data tinggi air berada pada kisaran 90 cm hingga 114 cm.

Selanjutnya, akan diselidiki karakteristik tinggi air pada setiap bulan.

#Bulan Januari
summary(data_join[month(data_join$Waktu_Pengukuran)==1, "Tinggi Air"])
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##    75.0    92.0    98.0   102.3   109.0   162.0
#Bulan Februari
summary(data_join[month(data_join$Waktu_Pengukuran)==2, "Tinggi Air"])
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##    79.0    84.0    93.0   102.3   112.6   208.0
#Bulan Maret
summary(data_join[month(data_join$Waktu_Pengukuran)==3, "Tinggi Air"])
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##    79.0    91.0   100.0   108.6   122.0   233.0

Rata-rata tinggi air pada bulan Januari dan Februari sama yaitu 102.3 cm, sementara rata-rata tinggi air pada bulan maret sebesar 108.6 cm.

Menurut Badan Penanggulangan Bencana Daerah (BPBD) Provinsi DKI Jakarta, status tinggi air dapat dikelompokkan ke dalam 4 level yaitu Normal apabila tinggi air kurang dari 200 cm, Siaga III apabila tinggi air di antara 200 cm hingga 270 cm, Siaga II apabila tinggi air berada di antara 270 cm hingga 350 cm, dan Siaga I apabila tinggi air melebihi 350 cm. Berikut diberikan plot time series tinggi muka air di Pos Depok beserta statusnya.

ggplot(data_join, aes(Waktu_Pengukuran, `Tinggi Air`))+
  geom_rect(aes(ymin=min(`Tinggi Air`), ymax=200, xmin=head(Waktu_Pengukuran,1),
                xmax=tail(Waktu_Pengukuran,1), fill="Normal"))+
  geom_rect(aes(ymin=200, ymax=270, xmin=head(Waktu_Pengukuran,1),
                xmax=tail(Waktu_Pengukuran,1), fill="Siaga III"))+
  geom_rect(aes(ymin=270, ymax=350, xmin=head(Waktu_Pengukuran,1),
                xmax=tail(Waktu_Pengukuran,1), fill="Siaga II"))+
  geom_rect(aes(ymin=350, ymax=Inf, xmin=head(Waktu_Pengukuran,1),
                xmax=tail(Waktu_Pengukuran,1), fill="Siaga I"))+
  scale_fill_manual("Status", breaks=c("Siaga I", "Siaga II", "Siaga III", "Normal"),
                    values=c("Normal"="green","Siaga III"="yellow","Siaga II"="orange",
                             "Siaga I"="red"))+
  geom_line()+
  ggtitle("Plot Time Series Data Tinggi Muka Air di Pos Pantau Depok", )+
  labs(x="Waktu", y="Tinggi Air (cm)")

Berdasarkan plot di atas, dari tanggal 1 Januari hingga 27 Maret 2023 status tinggi muka air di Pos Pantau Depok relatif normal dan hanya 3 kali naik ke level Siaga III.