Jelaskan perbedaan utama antara regresi klasik
(OLS) dan regresi Bayesian. Sertakan:
1) Cara estimasi parameter pada masing-masing pendekatan, dan
2) Peran prior dalam regresi Bayesian.
Ruang jawaban:
Pada regresi linear klasik dengan pendekatan frequentist, parameter diestimasi menggunakan metode Ordinary Least Squares (OLS). Tujuannya adalah meminimalkan jumlah kuadrat residual sehingga diperoleh estimasi titik \(\hat\beta\) yang terbaik dalam arti least squares. Secara umum, formulanya ditulis sebagai berikut.
\[ \hat\beta = (X^\top X)^{-1} X^\top y \]
Hasil utama dari OLS adalah satu nilai estimasi (titik) untuk setiap koefisien regresi, disertai simpangan baku, nilai \(t\), dan interval kepercayaan. Inferensi dalam kerangka ini bergantung pada distribusi sampling dari estimator.
Sebaliknya, pada pendekatan Bayesian, parameter diperlakukan sebagai variabel acak. Kita mendefinisikan distribusi prior \(p(\beta)\) yang merepresentasikan keyakinan awal sebelum melihat data, lalu mengalikan dengan likelihood \(p(y \mid \beta)\) untuk menghasilkan posterior:
\[ p(\beta \mid y) \propto p(y \mid \beta) \, p(\beta). \]
Posterior ini berbentuk distribusi, bukan sekadar titik estimasi. Artinya, hasil analisis bukan hanya “berapa nilai \(\beta\)”, melainkan “seberapa besar kemungkinan \(\beta\) berada pada rentang tertentu setelah data diamati”. Dengan demikian, kita bisa membuat credible interval yang memiliki interpretasi probabilistik langsung.
Peran Prior
Dalam regresi Bayesian, prior berperan sebagai representasi keyakinan awal terhadap parameter regresi sebelum data diamati. Prior ini bisa bersifat informatif, misalnya berdasarkan penelitian atau pengetahuan sebelumnya, atau bersifat non-informatif/vague ketika kita tidak memiliki informasi kuat. Ketika data yang tersedia sedikit, prior akan memberikan pengaruh besar terhadap distribusi posterior, sehingga hasil estimasi cenderung mengikuti asumsi awal yang ditentukan. Sebaliknya, jika data sangat banyak, maka pengaruh prior semakin kecil dan hasil regresi Bayesian akan mendekati hasil regresi klasik seperti OLS.
Selain itu, prior juga dapat berfungsi sebagai bentuk regularisasi. Misalnya, penggunaan prior Normal dengan varians kecil dapat membatasi besarnya koefisien regresi sehingga tidak ekstrem, mirip dengan ridge regression. Dengan demikian, prior tidak hanya membantu menggabungkan informasi awal dengan data baru, tetapi juga melindungi model dari estimasi yang tidak realistis atau overfitting, sehingga menghasilkan inferensi yang lebih stabil dan masuk akal.
Gunakan model: \[ y_i = \beta_0 + \beta_1 x_i + \epsilon_i, \quad \epsilon_i \sim N(0, \sigma^2). \]
Diberikan 5 observasi:
| x | y |
|---|---|
| 0 | 1.2 |
| 1 | 2.3 |
| 2 | 2.8 |
| 3 | 4.1 |
| 4 | 5.3 |
Ruang perhitungan (opsional):
a) Hitung estimasi \(\hat{\beta}_1\) menggunakan OLS
Model regresi linear ditulis sebagai: \[ y_i = \beta_0 + \beta_1 x_i + \varepsilon_i. \]
Rumus slope OLS adalah: \[ \hat{\beta}_1 = \frac{\sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^n (x_i - \bar{x})^2}. \]
Dengan data: \[ x = (0,1,2,3,4), \quad y = (1.2,2.3,2.8,4.1,5.3), \quad n = 5, \]
maka rata-rata: \[ \bar{x} = \frac{0+1+2+3+4}{5} = 2, \quad \bar{y} = \frac{1.2+2.3+2.8+4.1+5.3}{5} = 3.14. \]
Hitung pembilang: \[ \begin{aligned} (x_1-\bar{x})(y_1-\bar{y}) &= (0-2)(1.2-3.14) = (-2)(-1.94) = 3.88, \\ (x_2-\bar{x})(y_2-\bar{y}) &= (1-2)(2.3-3.14) = (-1)(-0.84) = 0.84, \\ (x_3-\bar{x})(y_3-\bar{y}) &= (2-2)(2.8-3.14) = (0)(-0.34) = 0.00, \\ (x_4-\bar{x})(y_4-\bar{y}) &= (3-2)(4.1-3.14) = (1)(0.96) = 0.96, \\ (x_5-\bar{x})(y_5-\bar{y}) &= (4-2)(5.3-3.14) = (2)(2.16) = 4.32. \end{aligned} \]
Sehingga: \[ \sum_{i=1}^5 (x_i-\bar{x})(y_i-\bar{y}) = 3.88 + 0.84 + 0.00 + 0.96 + 4.32 = 10.00. \]
Hitung penyebut: \[ (0-2)^2=4,\quad (1-2)^2=1,\quad (2-2)^2=0,\quad (3-2)^2=1,\quad (4-2)^2=4, \] \[ \sum_{i=1}^5 (x_i-\bar{x})^2 = 4+1+0+1+4 = 10. \]
Maka estimasi slope: \[ \hat{\beta}_1 = \frac{10.00}{10} = 1.00. \]
Intercept dihitung dengan: \[ \hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}. \]
\[ \hat{\beta}_0 = 3.14 - (1.00)(2) = 3.14 - 2.00 = 1.14. \]
Hasil akhir: \[ \hat{y} = 1.14 + 1.00x. \]
# Data kecil untuk hitung OLS
x <- c(0,1,2,3,4)
y <- c(1.2,2.3,2.8,4.1,5.3)
coef(lm(y ~ x)) # gunakan untuk memeriksa perhitungan manual Anda## (Intercept) x
## 1.14 1.00b) Interpretasi prior \(\beta_1 \sim N(0,10^2)\)
Prior ini berbentuk distribusi Normal dengan rata-rata 0 dan varians \(100\) (simpangan baku = 10).
Dengan model pada Soal 2, misalkan prior: - \(\beta_0 \sim N(0, 100)\) - \(\beta_1 \sim N(2, 0.5^2)\)
Ruang jawaban:
Prior \(\beta_1 \sim N(2, 0.5^2)\) berarti sebelum melihat data, kita memiliki keyakinan awal yang kuat bahwa slope (\(\beta_1\)) bernilai sekitar 2. Secara praktis, ini diartikan bahwa setiap kenaikan 1 unit pada variabel \(x\) diperkirakan meningkatkan nilai \(y\) sekitar 2 unit. Karena simpangan baku prior hanya 0.5 (varians 0.25), distribusi prior cukup sempit sehingga bersifat informatif. Dengan kata lain, kita bukan hanya sekadar menebak bahwa slope mendekati 2, tetapi juga cukup yakin bahwa nilainya tidak jauh dari angka tersebut (misalnya antara 1 dan 3). Dalam literatur Bayesian, prior seperti ini biasanya digunakan bila ada bukti kuat dari teori atau hasil penelitian sebelumnya, sehingga analisis baru dapat “mewarisi” informasi yang sudah ada.
Jika ukuran sampel sangat kecil, maka posterior akan lebih dipengaruhi oleh prior daripada data. Alasannya, distribusi posterior diperoleh dari kombinasi prior dan likelihood. Pada ukuran sampel yang kecil, likelihood relatif datar atau lebar sehingga tidak membawa informasi yang kuat. Sebaliknya, prior informatif yang sempit akan memberikan bobot yang besar dalam menentukan bentuk posterior. Akibatnya, nilai posterior akan cenderung mendekati nilai mean prior (yaitu sekitar 2 dalam kasus ini). Sebaliknya, jika sampel sangat besar, informasi dari data akan mendominasi sehingga posterior hampir identik dengan hasil estimasi OLS.
Sebutkan satu kelebihan dan satu kelemahan regresi Bayesian dibanding OLS. Berikan alasan singkat.
Ruang jawaban:
Kelebihan:
Kelebihan utama regresi Bayesian dibanding OLS adalah kemampuannya
menggabungkan informasi sebelumnya melalui prior dan
menghasilkan distribusi posterior alih-alih hanya
estimasi titik. Dengan demikian, inferensi Bayesian lebih kaya dan dapat
menyatakan credible interval yang memiliki interpretasi
probabilistik langsung, misalnya “probabilitas 95% parameter berada pada
rentang tertentu”. Fitur ini sangat menonjol karena membuat regresi
Bayesian lebih fleksibel dalam menghadapi data terbatas atau model
kompleks, di mana OLS bisa memberikan estimasi yang tidak stabil.
Kelemahan:
Di sisi lain, regresi Bayesian sangat dipengaruhi oleh pemilihan
prior. Jika prior yang dipakai terlalu informatif atau tidak
sesuai dengan konteks, maka hasil posterior bisa menyimpang dari
informasi yang terkandung di dalam data. Selain itu, untuk model yang
tidak memiliki solusi analitik, regresi Bayesian memerlukan algoritma
komputasi seperti MCMC, yang relatif berat dan membutuhkan pemeriksaan
konvergensi. Hal ini membuat penerapan Bayesian lebih rumit dibanding
OLS yang memiliki solusi eksplisit dan komputasi cepat.