1. Pengantar Bootstrapping dalam R

Dalam statistik, kita sering ingin melakukan resampling untuk menguji keakuratan estimasi sampel kita. Ini disebut bootstrapping—sebuah tes yang didasarkan pada pengambilan sampel acak berulang dengan pengembalian (replacement). Dalam pembelajaran kali ini, kita akan: (1) menghasilkan 1000 sampel acak baru dari sebuah vektor (dengan pengembalian), (2) menghitung estimasi tertentu (misalnya, mean, median, dll.) untuk setiap sampel tersebut, dan (3) menghitung standar deviasi dari distribusi estimasi tersebut.

Dataset

Kita akan membuat sebuah vektor berisi angka yang terdistribusi secara normal dengan nama myData.

Membuat Distribusi Normal Acak Menggunakan rnorm()

Fungsi rnorm() memungkinkan kita untuk menghasilkan urutan angka acak dari distribusi normal hipotetis dengan rata-rata (mean) 20 dan standar deviasi 4.5. Di sini, kita memilih untuk menghasilkan 2000 observasi.

set.seed(777) # Setting the seed for replication purposes
myData <- rnorm(2000,20,4.5) # Creating a random normal distribution (n=300, mean=20, sd=4.5)

Penjelasan:

  • set.seed(300) digunakan untuk menetapkan seed (angka acak) agar hasil yang dihasilkan oleh fungsi acak (seperti rnorm) dapat direplikasi. Ini memastikan bahwa setiap kali kode dijalankan, hasilnya akan sama.
  • rnorm(2000, 20, 4.5) menghasilkan 2000 observasi dari distribusi normal dengan mean 20 dan standar deviasi 4.5. Hasilnya disimpan dalam vektor myData.

Melakukan Pemeriksaan Awal (Sanity Checks) pada myData Menggunakan length(), mean(), dan sd()

Untuk memastikan bahwa vektor myData telah dibuat dengan benar, kita memverifikasi bahwa: 1. Terdapat 2000 observasi (menggunakan length()), 2. Nilai rata-rata (mean) mendekati 20 (menggunakan mean()), dan 3. Standar deviasi mendekati 4.5 (menggunakan sd()).

Catatan: Kita tidak seharusnya mengharapkan mean dan standar deviasi memiliki nilai yang persis sama dengan yang kita masukkan ke dalam rnorm(), karena ada unsur acak yang terlibat saat menggunakan fungsi ini (rnorm menghasilkan distribusi normal acak di sekitar mean dan standar deviasi yang diberikan).

length(myData) # How many observations?
## [1] 2000

length(myData) menghitung jumlah observasi dalam vektor myData. Harusnya menghasilkan 2000 karena kita membuat 2000 observasi.

mean(myData) # What is the mean?
## [1] 20.02767

mean(myData) menghitung rata-rata dari vektor myData. Harusnya mendekati 20 karena kita menetapkan mean = 20 saat membuat data.

sd(myData) # What is the standard deviation?
## [1] 4.427563

sd(myData) menghitung standar deviasi dari vektor myData. Harusnya mendekati 4.5 karena kita menetapkan standar deviasi = 4.5 saat membuat data

Membuat Grafik untuk myData

Untuk tujuan visual, berikut adalah grafik dari vektor myData. Garis putus-putus merah menunjukkan nilai mean (20.02767) dari distribusi ini.

# Membuat histogram dari myData
hist(myData, breaks = 30, col = "lightblue", main = "Distribusi myData", xlab = "Nilai", ylab = "Frekuensi")
# Menambahkan garis vertikal untuk mean
abline(v = mean(myData), col = "red", lwd = 2, lty = 2)
# Menambahkan legenda
legend("topright", legend = paste("Mean =", round(mean(myData), 5)), col = "red", lty = 2, lw, d = 2)

Penjelasan:

  1. hist() digunakan untuk membuat histogram dari myData.
    • breaks = 30 menentukan jumlah bin (kelompok) pada histogram.
    • col = "lightblue" memberikan warna biru muda pada histogram.
    • main, xlab, dan ylab masing-masing digunakan untuk judul grafik, label sumbu x, dan label sumbu y.
  2. abline() menambahkan garis vertikal pada nilai mean.
    • v = mean(myData) menentukan posisi garis pada nilai mean.
    • col = "red" memberikan warna merah pada garis.
    • lwd = 2 menentukan ketebalan garis.
    • lty = 2 membuat garis menjadi putus-putus.
  3. legend() menambahkan legenda ke grafik untuk menjelaskan garis merah.
    Output dari kode ini adalah histogram yang menunjukkan distribusi myData dengan garis merah putus-putus yang menandakan nilai mean.

2. Bootstrapping Menggunakan Fungsi Dasar R

Apa itu bootstrapping? Bootstrapping adalah metode untuk memperhitungkan ketidakpastian saat kita mengukur estimasi sampel. Dengan menggunakan pengambilan sampel acak dengan pengembalian (random sampling with replacement), kita menghitung estimasi kita untuk berbagai sampel acak yang diambil dari distribusi asli kita.

Analogi dengan “Mean of Means” pada Dadu Perhatikan kejadian saat menghitung “rata-rata dari rata-rata” (mean of means) untuk lemparan dadu, kita memperkirakan seberapa besar kemungkinan kita akan mengamati estimasi sampel tertentu (misalnya, mean, standar deviasi). Jika kita mengambil sampel ulang secara acak dari distribusi dasar ini dengan penggantian sejumlah besar kali. Alasan kita mengambil sampel ulang dengan penggantian adalah untuk memungkinkan angka-angka tertentu dipilih beberapa kali, yang menciptakan varians yang lebih besar dalam distribusi yang dihasilkan.

Mengapa Menggunakan Pengembalian (Replacement)? Alasan kita menggunakan pengembalian adalah untuk memungkinkan angka tertentu dipilih lebih dari satu kali, yang menciptakan variasi yang lebih besar dalam distribusi yang dihasilkan.

Langkah-langkah Bootstrapping: 1. Ambil sampel acak dengan pengembalian dari distribusi asli. 2. Hitung estimasi (misalnya, mean, median, standar deviasi) untuk sampel tersebut. 3. Ulangi proses ini berkali-kali (misalnya, 1000 kali) untuk menghasilkan distribusi estimasi. 4. Analisis distribusi estimasi ini untuk memahami variabilitas dan ketidakpastian dari estimasi sampel.

Resampling dari myData Sebanyak 1000 Kali Menggunakan for(i in x)

Secara sederhana, yang kita lakukan di sini adalah menghitung mean dari 1000 sampel yang masing-masing terdiri dari 2000 observasi dari myData menggunakan perulangan for(i in x). Mean dari setiap sampel ini disimpan dalam sebuah vektor (bootstrap.results).

Tujuan: Kita tertarik untuk mengukur ketidakpastian dalam distribusi estimasi kita (dalam hal ini, mean). Untuk melakukannya, kita menghitung standar deviasi dari setiap mean yang dihitung menggunakan pengambilan sampel acak dengan pengembalian (random sampling with replacement).

set.seed(777) # Setting the seed for replication purposes
sample.size <- 2000 # Sample size
n.samples <- 1000 # Number of bootstrap samples
bootstrap.results <- c() # Creating an empty vector to hold the results

for (i in 1:n.samples)
{
 obs <- sample(1:sample.size, replace=TRUE)
 bootstrap.results[i] <- mean(myData[obs]) # Mean of the bootstrap sample
}

Penjelasan:

  • set.seed(200) menetapkan seed untuk replikasi.
  • sample.size <- 2000 menentukan ukuran sampel (sama dengan jumlah observasi dalam myData).
  • n.samples <- 1000 menentukan jumlah sampel bootstrap yang akan diambil.
  • bootstrap.results <- c() membuat vektor kosong untuk menyimpan hasil bootstrap.
  • for (i in 1:n.samples) melakukan perulangan sebanyak 1000 kali.
    • obs <- sample(1:sample.size, replace=TRUE) mengambil sampel acak dengan pengembalian dari indeks 1 hingga 2000.
    • bootstrap.results[i] <- mean(myData[obs]) menghitung mean dari sampel yang diambil dan menyimpannya dalam vektor bootstrap.results.
length(bootstrap.results) # Sanity check: this should contain the mean of 1000 different samples
## [1] 1000

length(bootstrap.results) memeriksa panjang vektor bootstrap.results. Harusnya 1000 karena kita mengambil 1000 sampel.

summary(bootstrap.results) # Sanity check
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   19.69   19.96   20.03   20.03   20.10   20.36

summary(bootstrap.results) memberikan ringkasan statistik dari vektor bootstrap.results, termasuk min, max, mean, dan kuartil.

sd(bootstrap.results) # Checking the standard deviation of the distribution of means (this is what we are interested in!)
## [1] 0.1019849

sd(bootstrap.results) menghitung standar deviasi dari distribusi mean yang dihasilkan oleh bootstrapping.

par(mfrow=c(2,1), pin=c(5.8,0.98)) # Combining plots (2 rows, 1 column) and setting the plots size
hist(bootstrap.results, # Creating an histogram
col="#d83737", # Changing the color
xlab="Mean", # Giving a label to the x axis
main=paste("Means of 1000 bootstrap samples from myData")) # Giving a title to the graph
hist(myData, # Creating an histogram
col="#37aad8", # Changing the color
xlab="Value", # Giving a label to the x axis
main=paste("Distribution of myData")) # Giving a title to the graph

Penjelasan: - par(mfrow=c(2,1), pin=c(5.8,0.98)) mengatur tata letak plot menjadi 2 baris dan 1 kolom, serta menentukan ukuran plot. - hist(bootstrap.results, col=“#d83737”, xlab=“Mean”, main=paste(“Means of 1000 bootstrap samples from myData”)) membuat histogram dari distribusi mean hasil bootstrapping. - hist(myData, col=“#37aad8”, xlab=“Value”, main=paste(“Distribution of myData”)) membuat histogram dari data asli myData.

Pengambilan sampel ulang sebanyak 1000 kali dari proses pembuatan data aktual menggunakan for(i in x)

Demikian pula, kita juga dapat mengambil 1000 sampel acak dari proses pembuatan data asli.

set.seed(777) # Setting the seed for replication purposes
sample.size <- 2000 # Sample size
n.samples <- 1000 # Number of bootstrap samples
bootstrap.results <- c() # Creating an empty vector to hold the results
for (i in 1:n.samples)
{
 bootstrap.results[i] <- mean(rnorm(2000,20,4.5)) # Mean of the bootstrap sample
}
length(bootstrap.results) # Sanity check: this should contain the mean of 1000 different samples
## [1] 1000

length(bootstrap.results) memeriksa panjang vektor bootstrap.results. Harusnya menghasilkan 1000 karena kita mengambil 1000 sampel bootstrap.

summary(bootstrap.results) # Sanity check
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   19.68   19.93   20.00   20.00   20.07   20.28

summary(bootstrap.results) memberikan ringkasan statistik dari vektor bootstrap.results, termasuk nilai minimum, kuartil pertama (Q1), median (Q2), mean, kuartil ketiga (Q3), dan nilai maksimum. Ini membantu kita memahami distribusi dari mean yang dihasilkan oleh bootstrapping.

par(mfrow=c(2,1), pin=c(5.8,0.98)) # Combining plots (2 rows, 1 column) and setting the plots size
hist(bootstrap.results, # Creating an histogram
col="#d83737", # Changing the color
xlab="Mean", # Giving a label to the x axis
main=paste("Means of 1000 bootstrap samples from the DGP")) # Giving a title to the graph
hist(myData, # Creating an histogram
col="#37aad8", # Changing the color
xlab="Value", # Giving a label to the x axis
main=paste("Distribution of myData")) # Giving a title to the graph

Penjelasan:

  • par(mfrow = c(2, 1), pin = c(5.8, 0.98))
    • Mengatur tata letak plot menjadi 2 baris dan 1 kolom.
    • Menentukan ukuran plot.
  • hist(bootstrap.results, col = "#d83737", xlab = "Mean", main = paste("Means of 1000 bootstrap samples from the DGP"))
    • Membuat histogram dari distribusi mean hasil bootstrapping.
    • col = "#d83737" memberikan warna merah pada histogram.
    • xlab = "Mean" memberikan label “Mean” pada sumbu x.
    • main = paste(...) memberikan judul grafik.
  • hist(myData, col = "#37aad8", xlab = "Value", main = paste("Distribution of myData"))
    • Membuat histogram dari data asli myData.
    • col = "#37aad8" memberikan warna biru pada histogram.
    • xlab = "Value" memberikan label “Value” pada sumbu x.
    • main = paste(...) memberikan judul grafik.

Exercises

Latihan 1

Tetapkan benih Anda pada angka 150. Hasilkan distribusi normal acak dari 1000 observasi, dengan rata-rata 30 dan simpangan baku 2,5. Hitung rata-rata dari 50 sampel dari 1000 observasi dari kumpulan data tersebut. Simpan hasil Anda dalam vektor.

Fungsi yang relevan: set.seed(), rnorm(), for(i in x), sample().

# Tetapkan seed untuk hasil yang konsisten
set.seed(777)

# Buat data acak dari distribusi normal
data_asli <- rnorm(1000, mean = 30, sd = 2.5)

# Buat vektor kosong untuk menyimpan rata-rata sampel
mean_sample <- c()

# Loop untuk mengambil 50 sampel dari data dan simpan rata-ratanya
for (i in 1:50) {
  sampel <- sample(data_asli, size = 50, replace = TRUE)
  mean_sample[i] <- mean(sampel)
}

# Tampilkan beberapa nilai rata-rata sebagai contoh
head(mean_sample)
## [1] 30.38185 29.74212 30.05230 29.88383 29.92795 30.45437

Hasil output menunjukkan sebagian nilai rata-rata dari 50 sampel acak yang diambil dari data berdistribusi normal dengan rata-rata 30 dan simpangan baku 2.5. Nilai-nilai seperti 30.38, 29.74, dan 30.05 menggambarkan fluktuasi alami antar sampel akibat variasi acak. Namun, seluruh rata-rata sampel tetap berkisar di sekitar nilai pusat distribusi, yaitu 30, yang menandakan proses sampling bekerja dengan baik dan data mendekati distribusi normal.

Latihan 2

Hasilkan dua histogram untuk menampilkan secara grafis distribusi rata-rata yang diperoleh dalam Latihan 1 serta nilai dari 1000 observasi dalam kumpulan data asli Anda. Gabungkan histogram ini menjadi satu grafik keseluruhan.

Fungsi yang relevan: par(), hist().

# Atur layout 2 plot dalam 1 kolom
par(mfrow = c(2, 1), pin = c(5.8, 0.98))

# Histogram rata-rata dari 50 sampel
hist(mean_sample, col = "#ff9999", xlab = "Mean Sampel", 
     main = "Distribusi Rata-rata 50 Sampel")

# Histogram dari data asli
hist(data_asli, col = "#99ccff", xlab = "Nilai", 
     main = "Distribusi Data Asli")

Keterangan:

Grafik pertama menunjukkan distribusi rata-rata dari 50 sampel acak, yang cenderung lebih sempit dan simetris. Ini menunjukkan bahwa proses perataan (averaging) dari data membuat distribusi menjadi lebih terpusat di sekitar nilai mean, yaitu sekitar 30.

Grafik kedua menunjukkan distribusi dari data asli sebanyak 1000 observasi. Distribusi ini memiliki penyebaran yang lebih lebar, karena merepresentasikan sebaran penuh dari nilai individual tanpa dirata-ratakan.

Kedua histogram memperlihatkan bahwa meskipun data asli memiliki variasi yang lebih besar, hasil pengambilan sampel secara berulang menghasilkan distribusi rata-rata yang lebih stabil dan terfokus, sesuai dengan prinsip Teorema Limit Pusat (Central Limit Theorem).