library(readxl)
library(tidyverse)
library(lubridate)
library(ggplot2)
Dataset yang digunakan diberi nama data_TMA_Jan, data_TMA_Feb, dan data_TMA_Mar yang masing-masing menyatakan data pengukuran tinggi muka air pada bulan Januari, Februari, dan Maret.
data_TMA_Jan <- read_excel("E:/Portofolio/Portofolio 1/TMA Depok 2023.xlsx", sheet=1)
data_TMA_Feb <- read_excel("E:/Portofolio/Portofolio 1/TMA Depok 2023.xlsx", sheet=2)
data_TMA_Mar <- read_excel("E:/Portofolio/Portofolio 1/TMA Depok 2023.xlsx", sheet=3)
head(data_TMA_Jan)
## # A tibble: 6 × 3
## Tanggal Jam `Tinggi Air`
## <dttm> <chr> <dbl>
## 1 2023-01-01 00:00:00 00:00 1350
## 2 2023-01-01 00:00:00 00:10 0
## 3 2023-01-01 00:00:00 00:20 1350
## 4 2023-01-01 00:00:00 00:30 1350
## 5 2023-01-01 00:00:00 00:40 1340
## 6 2023-01-01 00:00:00 00:50 1330
head(data_TMA_Feb)
## # A tibble: 6 × 3
## Tanggal Jam `Tinggi Air`
## <dttm> <chr> <dbl>
## 1 2023-02-01 00:00:00 00:00 930
## 2 2023-02-01 00:00:00 00:10 0
## 3 2023-02-01 00:00:00 00:20 940
## 4 2023-02-01 00:00:00 00:30 940
## 5 2023-02-01 00:00:00 00:40 940
## 6 2023-02-01 00:00:00 00:50 940
head(data_TMA_Mar)
## # A tibble: 6 × 3
## Tanggal Jam `Tinggi Air`
## <dttm> <chr> <dbl>
## 1 2023-03-01 00:00:00 00:00 1320
## 2 2023-03-01 00:00:00 00:10 -300
## 3 2023-03-01 00:00:00 00:20 1290
## 4 2023-03-01 00:00:00 00:30 1290
## 5 2023-03-01 00:00:00 00:40 1290
## 6 2023-03-01 00:00:00 00:50 1290
Data yang digunakan adalah data tinggi muka air di Pos Pantau Depok yang diukur dalam satuan milimeter(mm) setiap 10 menit dari bulan Januari hingga Maret 2023. Data ini bersumber dari Dinas SDA Provinsi DKI Jakarta yang kemudian di-masking oleh pihak StarCore Analytics.
par(mfrow=c(2,1))
hist_jan <- hist(data_TMA_Jan$`Tinggi Air`, main="Histogram Tinggi Air Bulan Januari",
xlim=c(700, 1800), col="red", xlab="Tinggi Air")
boxplot_jan <- boxplot(data_TMA_Jan$`Tinggi Air`, main="Boxplot Tinggi Air Bulan Januari",
horizontal=T, col="red")
par(mfrow=c(2,1))
hist_feb <- hist(data_TMA_Feb$`Tinggi Air`, main="Histogram Tinggi Air Bulan Februari",
xlab="Tinggi Air", breaks = 100, xlim=c(0,3000), col="green")
boxplot_feb <- boxplot(data_TMA_Feb$`Tinggi Air`, main="Boxplot Tinggi Air Bulan Februari",
horizontal = T, col="green")
par(mfrow=c(2,1))
hist_mar <- hist(data_TMA_Mar$`Tinggi Air`, main="Histogram Tinggi Air Bulan Maret",
xlab="TinggiAir", col="blue")
boxplot_mar <- boxplot(data_TMA_Mar$`Tinggi Air`, main="Boxplot Tinggi Air Bulan Maret",
horizontal = T, col="blue")
Dari histogram dan boxplot tinggi muka air tiap bulan, terlihat adanya data anomali yaitu data yang bernilai nol dan negatif, serta data dengan nilai sangat besar. Untuk menyelidiki lebih lanjut, dataset data_TMA_Jan, data_TMA_Feb, dan data_TMA_Mar digabung menjadi dataset data_TMA.
data_TMA <- rbind(data_TMA_Jan, data_TMA_Feb, data_TMA_Mar)
head(data_TMA)
## # A tibble: 6 × 3
## Tanggal Jam `Tinggi Air`
## <dttm> <chr> <dbl>
## 1 2023-01-01 00:00:00 00:00 1350
## 2 2023-01-01 00:00:00 00:10 0
## 3 2023-01-01 00:00:00 00:20 1350
## 4 2023-01-01 00:00:00 00:30 1350
## 5 2023-01-01 00:00:00 00:40 1340
## 6 2023-01-01 00:00:00 00:50 1330
dim(data_TMA)
## [1] 11487 3
colnames(data_TMA)
## [1] "Tanggal" "Jam" "Tinggi Air"
str(data_TMA)
## tibble [11,487 × 3] (S3: tbl_df/tbl/data.frame)
## $ Tanggal : POSIXct[1:11487], format: "2023-01-01" "2023-01-01" ...
## $ Jam : chr [1:11487] "00:00" "00:10" "00:20" "00:30" ...
## $ Tinggi Air: num [1:11487] 1350 0 1350 1350 1340 1330 1330 1320 1320 1310 ...
boxplot(data_TMA$`Tinggi Air`, main="Boxplot Tinggi Air",
horizontal = T, col="orange")
summary(data_TMA$`Tinggi Air`)
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## -300 900 960 1035 1110 16180
data_TMA[data_TMA$`Tinggi Air`<=0 | data_TMA$`Tinggi Air`>=10000,]
## # A tibble: 15 × 3
## Tanggal Jam `Tinggi Air`
## <dttm> <chr> <dbl>
## 1 2023-01-01 00:00:00 00:10 0
## 2 2023-02-01 00:00:00 00:10 0
## 3 2023-02-12 00:00:00 19:00 15920
## 4 2023-02-12 00:00:00 19:10 15880
## 5 2023-02-12 00:00:00 19:20 15870
## 6 2023-02-12 00:00:00 19:30 15850
## 7 2023-02-12 00:00:00 19:40 16180
## 8 2023-03-01 00:00:00 00:10 -300
## 9 2023-03-17 00:00:00 08:00 -300
## 10 2023-03-21 00:00:00 10:00 -300
## 11 2023-03-22 00:00:00 07:20 -300
## 12 2023-03-22 00:00:00 09:00 -300
## 13 2023-03-24 00:00:00 06:50 -300
## 14 2023-03-25 00:00:00 06:40 -300
## 15 2023-03-27 00:00:00 07:10 -300
Terlihat adanya data tinggi air yang bernilai nol dan negatif, serta data dengan nilai yang sangat besar yaitu lebih dari 15000 mm (atau lebih dari 15 m). Kemudian, dapat dilihat bahwa pengukuran tinggi air pada pukul 00:10 di tanggal 1 pada setiap bulan selalu menghasilkan data anomali. Selain itu, untuk bulan Februari dan Maret data anomali juga terjadi pada beberapa waktu yang lain. Data anomali tersebut kemungkinan disebabkan oleh kerusakan alat. Oleh karena data anomali tersebut tidak logis, maka data tersebut dapat dihilangkan.
data_TMA <- data_TMA[data_TMA$`Tinggi Air`>0 & data_TMA$`Tinggi Air`<10000, ]
nrow(data_TMA)
## [1] 11472
summary(data_TMA$`Tinggi Air`)
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## 700 900 960 1030 1110 4810
sum(is.na(data_TMA))
## [1] 0
Setelah dilakukan pengecekan, data tidak memuat missing value atau nilai kosong.
data_TMA[!with(data_TMA, grepl("0$", Jam)), ]
## # A tibble: 104 × 3
## Tanggal Jam `Tinggi Air`
## <dttm> <chr> <dbl>
## 1 2023-01-03 00:00:00 10:06 1150
## 2 2023-01-07 00:00:00 22:11 1000
## 3 2023-01-10 00:00:00 17:12 1100
## 4 2023-01-12 00:00:00 05:01 850
## 5 2023-01-15 00:00:00 14:24 800
## 6 2023-01-15 00:00:00 22:02 800
## 7 2023-01-17 00:00:00 03:22 950
## 8 2023-01-18 00:00:00 09:11 850
## 9 2023-01-25 00:00:00 06:06 900
## 10 2023-02-01 00:00:00 01:07 800
## # ℹ 94 more rows
Terlihat bahwa terdapat data tinggi air yang tidak diukur dalam interval tepat 10 menit. Selanjutnya, data tersebut akan dibulatkan ke dalam interval waktu 10 menit yang terdekat. Sebelumnya, kolom Jam digabungkan dengan kolom Tanggal sebagai kolom Waktu_Pengukuran dengan tipe data POSIXct.
data_TMA["Waktu_Pengukuran"] <- as.POSIXct(paste(data_TMA$Tanggal, data_TMA$Jam),
format="%Y-%m-%d %H:%M")
head(data_TMA)
## # A tibble: 6 × 4
## Tanggal Jam `Tinggi Air` Waktu_Pengukuran
## <dttm> <chr> <dbl> <dttm>
## 1 2023-01-01 00:00:00 00:00 1350 2023-01-01 00:00:00
## 2 2023-01-01 00:00:00 00:20 1350 2023-01-01 00:20:00
## 3 2023-01-01 00:00:00 00:30 1350 2023-01-01 00:30:00
## 4 2023-01-01 00:00:00 00:40 1340 2023-01-01 00:40:00
## 5 2023-01-01 00:00:00 00:50 1330 2023-01-01 00:50:00
## 6 2023-01-01 00:00:00 01:00 1330 2023-01-01 01:00:00
data_TMA$Waktu_Pengukuran <- round_date(data_TMA$Waktu_Pengukuran, "10 mins")
Berikutnya, dicek kembali apakah semua data yang intervalnya tidak tepat 10 menit telah dibulatkan ke waktu dengan interval 10 menit terdekat.
data_TMA[!with(data_TMA, grepl("0$", Jam)), ]
## # A tibble: 104 × 4
## Tanggal Jam `Tinggi Air` Waktu_Pengukuran
## <dttm> <chr> <dbl> <dttm>
## 1 2023-01-03 00:00:00 10:06 1150 2023-01-03 10:10:00
## 2 2023-01-07 00:00:00 22:11 1000 2023-01-07 22:10:00
## 3 2023-01-10 00:00:00 17:12 1100 2023-01-10 17:10:00
## 4 2023-01-12 00:00:00 05:01 850 2023-01-12 05:00:00
## 5 2023-01-15 00:00:00 14:24 800 2023-01-15 14:20:00
## 6 2023-01-15 00:00:00 22:02 800 2023-01-15 22:00:00
## 7 2023-01-17 00:00:00 03:22 950 2023-01-17 03:20:00
## 8 2023-01-18 00:00:00 09:11 850 2023-01-18 09:10:00
## 9 2023-01-25 00:00:00 06:06 900 2023-01-25 06:10:00
## 10 2023-02-01 00:00:00 01:07 800 2023-02-01 01:10:00
## # ℹ 94 more rows
data_TMA <- subset(data_TMA, select=c("Waktu_Pengukuran", "Tinggi Air"))
head(data_TMA)
## # A tibble: 6 × 2
## Waktu_Pengukuran `Tinggi Air`
## <dttm> <dbl>
## 1 2023-01-01 00:00:00 1350
## 2 2023-01-01 00:20:00 1350
## 3 2023-01-01 00:30:00 1350
## 4 2023-01-01 00:40:00 1340
## 5 2023-01-01 00:50:00 1330
## 6 2023-01-01 01:00:00 1330
sum(duplicated(data_TMA))
## [1] 70
data_TMA[duplicated(data_TMA), ]
## # A tibble: 70 × 2
## Waktu_Pengukuran `Tinggi Air`
## <dttm> <dbl>
## 1 2023-01-01 13:20:00 1600
## 2 2023-01-02 02:10:00 1250
## 3 2023-01-02 03:00:00 1240
## 4 2023-01-02 03:10:00 1240
## 5 2023-01-03 10:20:00 1280
## 6 2023-01-03 11:20:00 1260
## 7 2023-01-04 12:50:00 1250
## 8 2023-01-04 13:30:00 1240
## 9 2023-01-04 13:40:00 1240
## 10 2023-01-08 18:50:00 1570
## # ℹ 60 more rows
Setelah dilakukan pengecekan, terdapat data duplikat sebanyak 70 data. Selanjutnya, data duplikat tersebut dihilangkan.
data_TMA <- data_TMA[!duplicated(data_TMA), ]
sum(duplicated(data_TMA))
## [1] 0
Setelah dicek kembali, dataset data_TMA sudah tidak memuat data duplikat.
Selanjutnya, dari dataset data_TMA diambil data tinggi air tiap jam-nya dan diperoleh dataset data_per_jam.
data_per_jam <- data_TMA[minute(data_TMA$Waktu_Pengukuran)==0, ]
head(data_per_jam)
## # A tibble: 6 × 2
## Waktu_Pengukuran `Tinggi Air`
## <dttm> <dbl>
## 1 2023-01-01 00:00:00 1350
## 2 2023-01-01 01:00:00 1330
## 3 2023-01-01 02:00:00 1310
## 4 2023-01-01 03:00:00 1280
## 5 2023-01-01 04:00:00 1270
## 6 2023-01-01 05:00:00 1250
tail(data_per_jam)
## # A tibble: 6 × 2
## Waktu_Pengukuran `Tinggi Air`
## <dttm> <dbl>
## 1 2023-03-27 15:00:00 920
## 2 2023-03-27 16:00:00 940
## 3 2023-03-27 17:00:00 980
## 4 2023-03-27 18:00:00 940
## 5 2023-03-27 19:00:00 920
## 6 2023-03-27 20:00:00 910
nrow(data_per_jam)
## [1] 1938
Dataset data_per_jam berisi data tinggi air yang diambil dari tanggal 1 Januari pukul 00:00 hingga 27 Maret pukul 20:00 dengan interval 1 jam. Dataset tersebut seharusnya berjumlah 2061 baris, tapi ternyata hanya ada 1938 baris. Ini menunjukkan bahwa ada beberapa waktu yang tinggi airnya tidak tercatat.
Waktu_Pengukuran <- seq.POSIXt(ISOdate(2023,1,1,0,0), ISOdate(2023,3,27,20,0), by="hour")
length(Waktu_Pengukuran)
## [1] 2061
data_waktu_lengkap <- as.data.frame(Waktu_Pengukuran)
head(data_waktu_lengkap)
## Waktu_Pengukuran
## 1 2023-01-01 00:00:00
## 2 2023-01-01 01:00:00
## 3 2023-01-01 02:00:00
## 4 2023-01-01 03:00:00
## 5 2023-01-01 04:00:00
## 6 2023-01-01 05:00:00
Berikutnya dataset data_waktu_lengkap digabungkan dengan dataset data_per_jam menjadi dataset data_join untuk melihat pada jam berapa saja data tinggi air bernilai kosong.
data_join <- merge(data_waktu_lengkap, data_per_jam, by="Waktu_Pengukuran", all.x=T)
dim(data_join)
## [1] 2061 2
sum(is.na(data_join))
## [1] 123
head(data_join[is.na(data_join$`Tinggi Air`)==T,], 10)
## Waktu_Pengukuran Tinggi Air
## 33 2023-01-02 08:00:00 NA
## 59 2023-01-03 10:00:00 NA
## 127 2023-01-06 06:00:00 NA
## 151 2023-01-07 06:00:00 NA
## 216 2023-01-09 23:00:00 NA
## 369 2023-01-16 08:00:00 NA
## 513 2023-01-22 08:00:00 NA
## 775 2023-02-02 06:00:00 NA
## 776 2023-02-02 07:00:00 NA
## 777 2023-02-02 08:00:00 NA
Data tinggi air tiap jam yang masih kosong diisi dengan rata-rata dari tinggi air 1 jam sebelumnya dan 1 jam sesudahnya. Apabila data 1 jam sesudahnya juga kosong, maka diisi dengan data 1 jam sebelumnya.
#Membuat Fungsi untuk Penanganan Mssing Value
fill_NA <- function(x){
for(i in which(is.na(x)==T)){
if(is.na(x[i+1])==F){
x[i] <- mean(c(x[i-1], x[i+1]))
}
else{
x[i] <- x[i-1]
}
}
return(x)
}
data_join$`Tinggi Air` <- fill_NA(data_join$`Tinggi Air`)
sum(is.na(data_join$`Tinggi Air`))
## [1] 0
data_join$`Tinggi Air`<- data_join$`Tinggi Air`/10
head(data_join)
## Waktu_Pengukuran Tinggi Air
## 1 2023-01-01 00:00:00 135
## 2 2023-01-01 01:00:00 133
## 3 2023-01-01 02:00:00 131
## 4 2023-01-01 03:00:00 128
## 5 2023-01-01 04:00:00 127
## 6 2023-01-01 05:00:00 125
Pada bagian ini, dataset yang digunakan adalah dataset data_join yang sudah melalui proses Data Cleaning & Transformation.
ggplot(data_join, aes(Waktu_Pengukuran, `Tinggi Air`)) + geom_line() +
ggtitle("Plot Time Series Data Tinggi Muka Air di Pos Pantau Depok", )+
labs(x="Waktu", y="Tinggi Air (cm)")
summary(data_join)
## Waktu_Pengukuran Tinggi Air
## Min. :2023-01-01 00:00:00 Min. : 75.0
## 1st Qu.:2023-01-22 11:00:00 1st Qu.: 90.0
## Median :2023-02-12 22:00:00 Median : 97.0
## Mean :2023-02-12 22:00:00 Mean :104.2
## 3rd Qu.:2023-03-06 09:00:00 3rd Qu.:114.0
## Max. :2023-03-27 20:00:00 Max. :233.0
data_join[data_join$`Tinggi Air`==min(data_join$`Tinggi Air`),]
## Waktu_Pengukuran Tinggi Air
## 476 2023-01-20 19:00:00 75
data_join[data_join$`Tinggi Air`==max(data_join$`Tinggi Air`),]
## Waktu_Pengukuran Tinggi Air
## 1726 2023-03-13 21:00:00 233
Tinggi air paling rendah adalah 75 cm yang terjadi pada tanggal 20 Januari 2023 pukul 19:00, sementara paling tinggi terjadi pada tanggal 13 Maret 2023 pukul 21:00 dengan ketinggian 233 cm.
par(mfrow=c(2,1))
hist(data_join$`Tinggi Air`, main="Histogram Tinggi Air",
xlab="Tinggi Air", col="orange")
boxplot(data_join$`Tinggi Air`, main="Boxplot Tinggi Air",
horizontal = T, col="orange")
Histogram tinggi air per jam menunjukkan kecenderungan menjulur ke kanan. Berdasarkan Boxplot dapat diperoleh informasi bahwa 50% data tinggi air berada pada kisaran 90 cm hingga 114 cm.
Selanjutnya, akan diselidiki karakteristik tinggi air pada setiap bulan.
#Bulan Januari
summary(data_join[month(data_join$Waktu_Pengukuran)==1, "Tinggi Air"])
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## 75.0 92.0 98.0 102.3 109.0 162.0
#Bulan Februari
summary(data_join[month(data_join$Waktu_Pengukuran)==2, "Tinggi Air"])
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## 79.0 84.0 93.0 102.3 112.6 208.0
#Bulan Maret
summary(data_join[month(data_join$Waktu_Pengukuran)==3, "Tinggi Air"])
## Min. 1st Qu. Median Mean 3rd Qu. Max.
## 79.0 91.0 100.0 108.6 122.0 233.0
Rata-rata tinggi air pada bulan Januari dan Februari sama yaitu 102.3 cm, sementara rata-rata tinggi air pada bulan maret sebesar 108.6 cm.
Menurut Badan Penanggulangan Bencana Daerah (BPBD) Provinsi DKI Jakarta, status tinggi air dapat dikelompokkan ke dalam 4 level yaitu Normal apabila tinggi air kurang dari 200 cm, Siaga III apabila tinggi air di antara 200 cm hingga 270 cm, Siaga II apabila tinggi air berada di antara 270 cm hingga 350 cm, dan Siaga I apabila tinggi air melebihi 350 cm. Berikut diberikan plot time series tinggi muka air di Pos Depok beserta statusnya.
ggplot(data_join, aes(Waktu_Pengukuran, `Tinggi Air`))+
geom_rect(aes(ymin=min(`Tinggi Air`), ymax=200, xmin=head(Waktu_Pengukuran,1),
xmax=tail(Waktu_Pengukuran,1), fill="Normal"))+
geom_rect(aes(ymin=200, ymax=270, xmin=head(Waktu_Pengukuran,1),
xmax=tail(Waktu_Pengukuran,1), fill="Siaga III"))+
geom_rect(aes(ymin=270, ymax=350, xmin=head(Waktu_Pengukuran,1),
xmax=tail(Waktu_Pengukuran,1), fill="Siaga II"))+
geom_rect(aes(ymin=350, ymax=Inf, xmin=head(Waktu_Pengukuran,1),
xmax=tail(Waktu_Pengukuran,1), fill="Siaga I"))+
scale_fill_manual("Status", breaks=c("Siaga I", "Siaga II", "Siaga III", "Normal"),
values=c("Normal"="green","Siaga III"="yellow","Siaga II"="orange",
"Siaga I"="red"))+
geom_line()+
ggtitle("Plot Time Series Data Tinggi Muka Air di Pos Pantau Depok", )+
labs(x="Waktu", y="Tinggi Air (cm)")
Berdasarkan plot di atas, dari tanggal 1 Januari hingga 27 Maret 2023 status tinggi muka air di Pos Pantau Depok relatif normal dan hanya 3 kali naik ke level Siaga III.