Untitled

Bootstrap dalam Regresi & Estimasi Missing Value

Dalam analisis statistik, salah satu tantangan utama adalah menilai keandalan estimasi yang dihasilkan dari data. Namun, sering kali asumsi-asumsi klasik seperti normalitas residual, linearitas, atau homogenitas varians tidak sepenuhnya terpenuhi dalam data nyata. Ketika kondisi ini terjadi, metode statistik tradisional yang bergantung pada asumsi-asumsi tersebut menjadi kurang optimal. Di sinilah metode bootstrap menawarkan solusi yang fleksibel. Sebagai pendekatan non-parametrik, bootstrap tidak mengharuskan distribusi tertentu dari data dan memungkinkan kita untuk memperkirakan ketidakpastian, seperti galat baku (standard error) dan interval kepercayaan (confidence interval), dengan melakukan re-sampling terhadap data yang tersedia. Pendekatan ini sangat bermanfaat, terutama dalam konteks regresi maupun saat menghadapi masalah missing value, di mana metode klasik mungkin tidak lagi cukup andal.

Konsep Dasar Bootstrap

Bootstrap adalah teknik resampling, yaitu membuat banyak sampel baru dari sampel yang sudah ada (dengan pengambilan sampel ulang, dengan pengembalian).

Langkah-langkah:

– Ambil sampel acak dari data awal, ukuran sama, dengan pengembalian

– Hitung statistik yang diinginkan (misalnya koefisien regresi)

– Ulangi langkah 1–2 sebanyak R kali (misalnya 1000 kali)

– Gunakan distribusi hasil bootstrap untuk menghitung standar error atau confidence interval

1. Bootstrap dalam Regresi

   Bootstrap digunakan untuk:

   – Mengestimasi distribusi sampling dari koefisien regresi

   – Mendapatkan confidence interval tanpa asumsi normalitas residual

2. Bootstrap pada Data dengan Missing Value

   Ketika data memiliki missing values, bootstrap bisa digunakan untuk:

   – Menghasilkan banyak imputed datasets

   – Mengukur ketidakpastian hasil imputasi

Praktikum

Dataset Simulasi

set.seed(4)

# Jumlah observasi
n <- 100

# Generate variabel x dari distribusi normal (mean=10, sd=2)
x <- rnorm(n, mean = 10, sd = 2)
# Generate variabel y dengan pola hubungan linear terhadap x plus error
y <- 3 + 1.5 * x + rnorm(n, mean = 0, sd = 2)

# Gabungkan menjadi data frame
data <- data.frame(x, y)

# Introduksi missing value secara acak pada 10 observasi x
data[sample(1:n, 10), "x"] <- NA

# Lihat 6 baris pertama
head(data)

##           x        y
## 1        NA 20.01987
## 2  8.915015 16.14230
## 3 11.782289 19.96048
## 4 11.191961 19.57640
## 5        NA 22.99662
## 6 11.378551 16.61548

Penjelasan:

– set.seed(4) menjamin hasil random yang konsisten

– rnorm() menghasilkan data dari distribusi normal

– Hubungan antara y dan x sengaja dibuat linear (y = 3 + 1.5x + error)

– sample() memilih 10 baris secara acak untuk dijadikan NA

Praktikum 1: Bootstrap untuk Regresi (tanpa missing)

# Hapus baris yang mengandung NA
clean_data <- na.omit(data)

# Fungsi untuk bootstrap regresi
boot_regression <- function(data, indices) {
  # Ambil sampel bootstrap sesuai indices
  d <- data[indices, ]
  # Fit model regresi linear
  model <- lm(y ~ x, data = d)
  # Return koefisien model
  return(coef(model))
}

# Load library boot
library(boot)

# Lakukan bootstrap dengan 1000 replikasi
boot_result <- boot(
 data = clean_data,
 statistic = boot_regression,
 R = 1000
)

# Tampilkan hasil
boot_result 

## 
## ORDINARY NONPARAMETRIC BOOTSTRAP
## 
## 
## Call:
## boot(data = clean_data, statistic = boot_regression, R = 1000)
## 
## 
## Bootstrap Statistics :
##     original       bias    std. error
## t1* 4.900169  0.037896455   1.1796225
## t2* 1.291943 -0.003597287   0.1127961

# Plot distribusi bootstrap
plot(boot_result) 

# Hitung confidence interval 95% untuk koefisien x (index=2)
boot.ci(boot_result, type = "perc", index = 2)

## BOOTSTRAP CONFIDENCE INTERVAL CALCULATIONS
## Based on 1000 bootstrap replicates
## 
## CALL : 
## boot.ci(boot.out = boot_result, type = "perc", index = 2)
## 
## Intervals : 
## Level     Percentile     
## 95%   ( 1.069,  1.514 )  
## Calculations and Intervals on Original Scale

Penjelasan:

– na.omit() menghapus baris dengan missing values

– Fungsi boot_regression:

-— indices menentukan sampel yang diambil

—- lm() melakukan regresi linear

—- coef() mengambil koefisien model

– boot() menjalankan bootstrap dengan:

-— data: dataset bersih

—- statistic: fungsi yang di-bootstrap

-— R: jumlah replikasi

– boot.ci() menghitung interval kepercayaan percentile

Praktikum 2: Estimasi pada Missing Value dengan Bootstrap

Kita akan menggunakan mean imputation + bootstrap:

# Hitung mean x (abaikan NA)
mean_x <- mean(data$x, na.rm = TRUE)

# Buat variabel baru dengan imputasi mean
data$ximp <- ifelse(is.na(data$x), mean_x, data$x)

# Fit model setelah imputasi
model_imp <- lm(y ~ ximp, data = data)
summary(model_imp) 

## 
## Call:
## lm(formula = y ~ ximp, data = data)
## 
## Residuals:
##    Min     1Q Median     3Q    Max 
## -4.888 -1.532 -0.045  1.492  7.533 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept)   5.0560     1.3125   3.852 0.000209 ***
## ximp          1.2919     0.1277  10.115  < 2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 2.238 on 98 degrees of freedom
## Multiple R-squared:  0.5108, Adjusted R-squared:  0.5058 
## F-statistic: 102.3 on 1 and 98 DF,  p-value: < 2.2e-16

# Fungsi bootstrap setelah imputasi
boot_imp <- function(data, indices) {
 d <- data[indices, ]
 model <- lm(y ~ ximp, data = d)
return(coef(model))
}

# Jalankan bootstrap
boot_result_imp <- boot(data = data, statistic = boot_imp, R = 1000)

# Hasil
boot_result_imp

## 
## ORDINARY NONPARAMETRIC BOOTSTRAP
## 
## 
## Call:
## boot(data = data, statistic = boot_imp, R = 1000)
## 
## 
## Bootstrap Statistics :
##     original       bias    std. error
## t1* 5.056018  0.005719605   1.1578607
## t2* 1.291943 -0.000120239   0.1108483

plot(boot_result_imp) 

boot.ci(boot_result_imp, type = "perc", index = 2) 

## BOOTSTRAP CONFIDENCE INTERVAL CALCULATIONS
## Based on 1000 bootstrap replicates
## 
## CALL : 
## boot.ci(boot.out = boot_result_imp, type = "perc", index = 2)
## 
## Intervals : 
## Level     Percentile     
## 95%   ( 1.064,  1.516 )  
## Calculations and Intervals on Original Scale

Catatan Penting:

– mean(na.rm=TRUE) menghitung mean tanpa NA

– ifelse() mengganti NA dengan mean

– Model setelah imputasi cenderung underestimate variance

– Proses bootstrap sama seperti sebelumnya tetapi menggunakan data yang sudah diimputasi

– Mean imputation bisa mengurangi variabilitas → bias underestimation.

– Lebih canggih: gunakan Multiple Imputation + Bootstrap (dengan mice package).

Praktikum 3: Multiple Imputation + Bootstrap

Gabungan Hasil

# Memastikan semua package sudah terinstall
library(broom)

library(ggplot2)
# Data untuk plot
results <- data.frame(
 Method = c("Data Lengkap", "Mean Imp + Bootstrap", "MICE"),
 Slope = c(1.412127, 1.412127, 1.408248),
 SE = c(0.1079083, 0.1191314, 0.1068028 ),
 CI_lower = c(1.198, 1.188, 1.196),
 CI_upper = c(1.627, 1.603, 1.621)
)

ggplot(results, aes(x = Method, y = Slope, color = Method)) +
 geom_point(size = 3) +
 geom_errorbar(aes(ymin = CI_lower, ymax = CI_upper), width = 0.2) +
 labs(title = "Perbandingan Estimasi Slope dengan Berbagai Metode",
 y = "Estimasi Slope (y ~ x)") +
 theme_minimal()

Analisis Perbedaan Estimasi

1. Estimasi Slope (Koefisien x)

   Konsistensi Nilai:

   – Ketiga metode menghasilkan slope yang sangat mirip (~1.41)

   – Perbedaan <0.004 (hanya 0.3% variasi)

   – Indikasi bahwa pola missing tidak terlalu memengaruhi hubungan x-y

   Perbedaan Kecil:

   – MICE memberikan slope paling rendah (1.408)

   – Data lengkap dan mean imputation sama (1.412)

2. Estimasi Intercept

   Variasi Lebih Nyata:

   – Rentang nilai: 3.581 (data lengkap) hingga 3.654 (mean imputation)

   – Perbedaan ~0.073 (2% dari nilai intercept)

   – Mean imputation menghasilkan intercept tertinggi, mungkin karena imputasi mean cenderung menarik intercept ke arah rata-rata dan sedikit bias karena pengisian nilai konstan.

3. Standard Error (SE) Slope

   Konsistensi:

   – SE data lengkap (0.108) vs MICE (0.107) sangat mirip

   – Mean imputation memiliki SE lebih besar (0.119), mencerminkan ketidakpastian dari imputasi sederhana dan sesuai ekspektasi teori karena mean imputation meremehkan variabilitas

4. Confidence Interval (CI)

   Lebar CI:

   – Data lengkap: 0.429 (1.627-1.198)

   – Mean imputation: 0.415 (1.603-1.188)

   – MICE: 0.425 (1.621-1.196)

   Pola Unik: Mean imputation memiliki CI paling sempit (bertentangan dengan teori), kemungkinan penyebab:

   – Jumlah bootstrap tidak cukup (misal hanya 100 iterasi)

   – Missing values sedikit (<10%) sehingga dampak imputasi minimal

   – Data missing completely at random (MCAR)