Petunjuk

Soal 1 — Perbandingan Pendekatan

Jelaskan perbedaan utama antara regresi klasik (OLS) dan regresi Bayesian. Sertakan: 1) Cara estimasi parameter pada masing-masing pendekatan, dan
2) Peran prior dalam regresi Bayesian.

Ruang jawaban:

(1) Estimasi parameter OLS mengestimasi parameter dengan memaksimalkan likelihood (atau meminimalkan SSE)
(2) Peran Prior Bayesian menggabungkan prior dengan likelihood untuk membentuk posterior; estimasi bisa berupa mean/median posterior.

Prior berperan sebagai informasi awal yang akan diperbarui oleh data melalui likelihood.

Soal 2 — OLS Slope dan Interpretasi Prior

Gunakan model: \[ y_i = \beta_0 + \beta_1 x_i + \epsilon_i, \quad \epsilon_i \sim N(0, \sigma^2). \]

Diberikan 5 observasi:

x y
0 1.2
1 2.3
2 2.8
3 4.1
4 5.3
  1. Hitung estimasi \(\hat{\beta}_1\) menggunakan OLS.
  2. Jika prior \(\beta_1 \sim N(0, 10^2)\), jelaskan interpretasi prior ini.

Ruang perhitungan: OLS slope dapat dihitung manual atau via lm(); hasil mendekati kemiringan hubungan linier pada sampel kecil.
Model: $ y_i = _0 + _1 x_i + _i,; _i N(0,^2) $

Data:

x y
0 1.2
1 2.3
2 2.8
3 4.1
4 5.3

(a) Hitung \(\hat{\beta}_1\) (OLS)

Rumus slope:

\[ \hat{\beta}_1=\frac{n\sum xy-(\sum x)(\sum y)}{n\sum x^2-(\sum x)^2}. \]

x <- c(0,1,2,3,4)
y <- c(1.2,2.3,2.8,4.1,5.3)

n   <- length(x)
sx  <- sum(x);    sy  <- sum(y)
sxx <- sum(x^2);  sxy <- sum(x*y)

beta1_hat <- (n*sxy - sx*sy) / (n*sxx - sx^2)
beta0_hat <- mean(y) - beta1_hat*mean(x)

list(beta0_hat = beta0_hat, beta1_hat = beta1_hat)
## $beta0_hat
## [1] 1.14
## 
## $beta1_hat
## [1] 1

Cek dengan lm:

coef(lm(y ~ x))
## (Intercept)           x 
##        1.14        1.00

Hasil: \(\hat{\beta}_1 = 1.00\), \(\hat{\beta}_0 \approx 1.14\).

(b) Interpretasi prior \(\beta_1 \sim N(0, 10^2)\)

  • Slope berpusat di 0 dengan SD = 10 (sangat lebar).
  • \(\approx 95\%\) massa prior berada di \([-19.6,\;19.6]\).
  • Prior ini hampir non-informatif, hanya memberi sedikit tarikan ke 0 jika data kecil. Prior N(0, 10^2) berarti keyakinan awal bahwa beta1 sekitar 0 dengan ketidakpastian besar (sd=10), sehingga lemah.
qnorm(c(0.025, 0.975), mean = 0, sd = 10)
## [1] -19.59964  19.59964
# Data kecil untuk hitung OLS
x <- c(0,1,2,3,4)
y <- c(1.2,2.3,2.8,4.1,5.3)
coef(lm(y ~ x))  # gunakan untuk memeriksa perhitungan manual Anda

Soal 3 — Prior Informasi pada Slope

Dengan model pada Soal 2, misalkan prior: - \(\beta_0 \sim N(0, 100)\) - \(\beta_1 \sim N(2, 0.5^2)\)

  1. Apa arti prior \(\beta_1 \sim N(2, 0.5^2)\) terhadap hubungan \(x\)–\(y\)?
  2. Jika ukuran sampel sangat kecil, menurut Anda posterior lebih dipengaruhi oleh prior atau data? Jelaskan alasannya.

Ruang jawaban:

Prior: \(\beta_0 \sim N(0, 100)\), \(\beta_1 \sim N(2, 0.5^2)\).

(a) Arti prior \(\beta_1 \sim N(2, 0.5^2)\)

Prior N(2, 0.5^2) menyatakan ekspektasi kuat slope sekitar 2 dengan ketidakpastian kecil; mendorong posterior ke 2.

qnorm(c(0.025, 0.975), mean = 2, sd = 0.5)
## [1] 1.020018 2.979982

(b) Jika sampel kecil

Dengan n kecil, prior relatif lebih berpengaruh; dengan n besar, data mendominasi (teorema Bernstein–von Mises)

Soal 4 — Kelebihan & Kelemahan

Sebutkan satu kelebihan dan satu kelemahan regresi Bayesian dibanding OLS. Berikan alasan singkat.

Ruang jawaban:

Kelebihan: dapat mengintegrasikan pengetahuan awal & hasilkan interval probabilistik (credible interval).

Kelemahan : pada saat pemilihan prior dapat subjektif; komputasi bisa lebih berat dari OLS pada model kompleks.