Sebaran Penduga Koefisien

Dalam regresi linier, kita memodelkan hubungan antara variabel respons \(y\) dan variabel prediktor \(X\) menggunakan model:

\[ y = X\beta + \epsilon \]

Di sini, \(\beta\) adalah vektor koefisien regresi yang tidak diketahui dan perlu diestimasi. Penduga kuadrat terkecil (Ordinary Least Squares, OLS) digunakan untuk mengestimasi \(\beta\), dan penduganya dinyatakan sebagai:

\[ \hat{\beta} = (X'X)^{-1}X'y \]

Di bawah asumsi klasik regresi linier (misalnya, galat \(\epsilon\) berdistribusi normal dengan rata-rata nol dan varian \(\sigma^2I\)), penduga \(\hat{\beta}\) akan mengikuti distribusi normal:

\[ \hat{\beta} \sim N(\beta, \sigma^2(X'X)^{-1}) \]

Artinya, setiap koefisien dalam \(\hat{\beta}\) memiliki sebaran normal dengan rata-rata \(\beta\) yang sesungguhnya dan varians \(\sigma^2(X'X)^{-1}\). Ini penting karena memungkinkan kita untuk melakukan inferensi statistik seperti pengujian hipotesis dan estimasi selang kepercayaan untuk \(\beta\).

Sebaran Penduga Ragam Galat

Penduga ragam galat \(\sigma^2\), yang melambangkan variabilitas galat \(\epsilon\), dapat dihitung dengan:

\[ \hat{\sigma}^2 = \frac{SSE}{n-p} = \frac{(y - X\hat{\beta})'(y - X\hat{\beta})}{n-p} \]

Penduga ini mengikuti distribusi chi-square yang ditransformasikan:

\[ \frac{(n-p)\hat{\sigma}^2}{\sigma^2} \sim \chi^2_{n-p} \]

Distribusi ini penting dalam menghitung standar error dari estimasi koefisien dan dalam membangun selang kepercayaan serta pengujian hipotesis.

Sebaran T

Distribusi t-Student digunakan dalam regresi linier untuk pengujian hipotesis koefisien regresi, terutama ketika ukuran sampel kecil. Statistik uji t untuk menguji hipotesis \(H_0: \beta_j = 0\) (misalnya, koefisien \(\beta_j\) tidak berbeda secara signifikan dari nol) dinyatakan sebagai:

\[ t = \frac{\hat{\beta}_j - \beta_j}{\text{SE}(\hat{\beta}_j)} \sim t_{n-p} \]

di mana \(\text{SE}(\hat{\beta}_j)\) adalah standar error dari \(\hat{\beta}_j\). Nilai t ini dibandingkan dengan nilai kritis dari distribusi t dengan derajat kebebasan \(n-p\) untuk menentukan apakah \(\beta_j\) signifikan secara statistik.

Selang Kepercayaan bagi \(\beta\)

Selang kepercayaan untuk koefisien regresi \(\beta_j\) memberikan rentang nilai yang, dengan tingkat kepercayaan tertentu, kemungkinan besar mengandung nilai sebenarnya dari \(\beta_j\). Selang kepercayaan 95% untuk \(\beta_j\) adalah:

\[ \hat{\beta}_j \pm t_{\alpha/2, n-p} \times \text{SE}(\hat{\beta}_j) \]

di mana \(t_{\alpha/2, n-p}\) adalah nilai kritis dari distribusi t dengan derajat kebebasan \(n-p\) pada tingkat signifikansi \(\alpha\), biasanya 0.05 untuk selang kepercayaan 95%. Ini menunjukkan bahwa kita 95% yakin bahwa nilai sebenarnya dari \(\beta_j\) berada dalam interval ini.

Selang Kepercayaan bagi Kombinasi Linear \(\mathbf{c'\beta}\)

Jika kita tertarik pada kombinasi linear dari koefisien regresi, seperti \(c'\beta\) di mana \(c\) adalah vektor konstan, selang kepercayaannya dapat dihitung sebagai:

\[ c'\hat{\beta} \pm t_{\alpha/2, n-p} \times \sqrt{c'(X'X)^{-1}c \times \hat{\sigma}^2} \]

Ini memungkinkan kita untuk memperkirakan dengan interval nilai-nilai yang mungkin dari kombinasi linear koefisien yang diinginkan, dengan tingkat kepercayaan tertentu.

Selang Kepercayaan untuk Dugaan Rata-Rata Peubah Respon

Selang kepercayaan ini digunakan untuk memperkirakan rata-rata nilai respon \(\hat{y}_0\) pada nilai tertentu dari prediktor \(x_0\). Selang kepercayaan ini dihitung dengan:

\[ \hat{y}_0 \pm t_{\alpha/2, n-p} \times \sqrt{\sigma^2 x_0'(X'X)^{-1}x_0} \]

Ini memberikan interval di mana rata-rata respon diharapkan berada, berdasarkan model dan data yang diberikan.

Selang Prediksi untuk Dugaan Peubah Respon pada Individual Amatan

Berbeda dengan selang kepercayaan yang memperkirakan rata-rata respon, selang prediksi memperkirakan nilai individu dari variabel respon \(y_0\) pada nilai prediktor \(x_0\). Ini dihitung sebagai:

\[ \hat{y}_0 \pm t_{\alpha/2, n-p} \times \sqrt{\hat{\sigma}^2 \left(1 + x_0'(X'X)^{-1}x_0\right)} \]

Selang ini biasanya lebih lebar dari selang kepercayaan karena memperhitungkan variabilitas tambahan dari individu pengamatan.

Implementasi dalam R

Berikut adalah implementasi dalam R yang lebih rinci:

# Data simulasi
set.seed(123)
n <- 100
x <- rnorm(n)
y <- 2*x + rnorm(n)

# Model regresi
model <- lm(y ~ x)

# Sebaran Penduga Koefisien
coef(model)

## (Intercept)           x 
##  -0.1028031   1.9475284

summary(model)$coefficients

##               Estimate Std. Error   t value     Pr(>|t|)
## (Intercept) -0.1028031 0.09755118 -1.053837 2.945488e-01
## x            1.9475284 0.10687862 18.221871 3.079065e-33

# Sebaran Penduga Ragam Galat
sigma2 <- summary(model)$sigma^2

# Selang Kepercayaan bagi BETHA
confint(model)

##                  2.5 %    97.5 %
## (Intercept) -0.2963902 0.0907841
## x            1.7354312 2.1596255

# Selang Kepercayaan bagi kombinasi linear BETHA
c_vector <- c(1, 1)  # contoh kombinasi linear
beta_hat <- coef(model)
var_cov_beta <- vcov(model)
combination_variance <- t(c_vector) %*% var_cov_beta %*% c_vector
t_critical <- qt(0.975, df = model$df.residual)
CI_combination <- c(
  sum(c_vector * beta_hat) - t_critical * sqrt(combination_variance),
  sum(c_vector * beta_hat) + t_critical * sqrt(combination_variance)
)

# Selang Kepercayaan untuk Dugaan Rata-Rata Peubah Respon
new_data <- data.frame(x = 1)
predict(model, newdata = new_data, interval = "confidence")

##        fit      lwr      upr
## 1 1.844725 1.572095 2.117356

# Selang Prediksi untuk Dugaan Peubah Respon pada Individual Amatan
predict(model, newdata = new_data, interval = "prediction")

##        fit       lwr      upr
## 1 1.844725 -0.100823 3.790274

Contoh Soal

Latihan Soal

Soal 1:
Pertimbangkan model regresi linear sederhana: \[ y = X\beta + \epsilon = \beta_0 + \beta_1x + \epsilon \] dan anggap data berikut tersedia: \[ y_1 = 7, \quad x_1 = 4 \\ y_2 = 5, \quad x_2 = 3 \\ y_3 = 8, \quad x_3 = 6 \\ y_4 = 9, \quad x_4 = 7 \]

a) Temukan \(X\), \(X'X\), \((X'X)^{-1}\), dan \(X'Y\).
b) Temukan \(\hat{\beta}\).
c) Temukan \(\hat{\sigma}^2\).

d) Temukan \(\hat{y}_i = E[Y_i]\) untuk \(i = 1, 2, 3, 4\). Hitung \(\hat{\sigma}^2\)

Soal 2:
Pertimbangkan model regresi linear sederhana: \[ y = X\beta + \epsilon = \beta_0 + \beta_1x + \epsilon \] dan anggap data berikut tersedia: \[ y_1 = 3, \quad x_1 = 2 \\ y_2 = 4, \quad x_2 = 3 \\ y_3 = 5, \quad x_3 = 4 \\ y_4 = 6, \quad x_4 = 5 \]

a) Temukan \(X\), \(X'X\), \((X'X)^{-1}\), dan \(X'Y\).
b) Temukan \(\hat{\beta}\).
c) Temukan \(\hat{\sigma}^2\).

d) Temukan \(\hat{y}_i = E[Y_i]\) untuk \(i = 1, 2, 3, 4\). Hitung \(\hat{\sigma}^2\)

Soal 3:
Pertimbangkan model regresi linear sederhana: \[ y = X\beta + \epsilon = \beta_0 + \beta_1x + \epsilon \] dan anggap data berikut tersedia: \[ y_1 = 10, \quad x_1 = 1 \\ y_2 = 12, \quad x_2 = 2 \\ y_3 = 14, \quad x_3 = 3 \\ y_4 = 16, \quad x_4 = 4 \]

a) Temukan \(X\), \(X'X\), \((X'X)^{-1}\), dan \(X'Y\).
b) Temukan \(\hat{\beta}\).
c) Temukan \(\hat{\sigma}^2\).

d) Temukan \(\hat{y}_i = E[Y_i]\) untuk \(i = 1, 2, 3, 4\). Hitung \(\hat{\sigma}^2\)

Soal 4:
Pertimbangkan model regresi linear sederhana: \[ y = X\beta + \epsilon = \beta_0 + \beta_1x + \epsilon \] dan anggap data berikut tersedia: \[ y_1 = 2, \quad x_1 = 1 \\ y_2 = 3, \quad x_2 = 2 \\ y_3 = 5, \quad x_3 = 4 \\ y_4 = 7, \quad x_4 = 6 \]

a) Temukan \(X\), \(X'X\), \((X'X)^{-1}\), dan \(X'Y\).
b) Temukan \(\hat{\beta}\).
c) Temukan \(\hat{\sigma}^2\).

d) Temukan \(\hat{y}_i = E[Y_i]\) untuk \(i = 1, 2, 3, 4\). Hitung \(\hat{\sigma}^2\)

Soal 5:
Pertimbangkan model regresi linear sederhana: \[ y = X\beta + \epsilon = \beta_0 + \beta_1x + \epsilon \] dan anggap data berikut tersedia: \[ y_1 = 15, \quad x_1 = 5 \\ y_2 = 10, \quad x_2 = 3 \\ y_3 = 20, \quad x_3 = 6 \\ y_4 = 25, \quad x_4 = 8 \]

a) Temukan \(X\), \(X'X\), \((X'X)^{-1}\), dan \(X'Y\).
b) Temukan \(\hat{\beta}\).
c) Temukan \(\hat{\sigma}^2\).

d) Temukan \(\hat{y}_i = E[Y_i]\) untuk \(i = 1, 2, 3, 4\). Hitung \(\hat{\sigma}^2\)

Soal 6: Analisis Regresi Berat Badan terhadap Kalori yang Dikonsumsi

Sebuah penelitian dilakukan untuk mengetahui hubungan antara jumlah kalori yang dikonsumsi dengan berat badan yang dihasilkan. Diasumsikan bahwa saat tidak ada kalori yang dikonsumsi, berat badan tidak berubah. Model regresi yang diinginkan harus memiliki intersep 0 dan mengambil bentuk:

\[ y = \beta_1 x + \varepsilon \]

Pertanyaan:

a) Apa matriks \(X\) untuk model seperti itu?
b) Temukan \(X'X\), \((X'X)^{-1}\), dan \(X'Y\).
c) Temukan estimator kuadrat terkecil untuk \(\beta_1\)

d) Temukan ekspresi untuk \(s^2\) berdasarkan sampel berukuran \(n\).
e) Temukan estimator untuk var \(b_1\).
Misalkan data ini tersedia:
\[ \begin{array}{c|c} \text{Jumlah Kalori} & \text{Berat Badan} \\ \text{(x)} & \text{(y)} \\ \hline 2000 & 60 \\ 2500 & 65 \\ 1800 & 58 \\ 2200 & 62 \\ 2400 & 64 \\ \end{array} \]

Gunakan data ini untuk mengestimasi \(\beta_1\), \(\sigma^2\), dan varian \(b_1\).

Soal 7: Hubungan Waktu Belajar dengan Nilai Ujian

Seorang peneliti ingin mengetahui hubungan antara jumlah jam belajar dan nilai ujian siswa. Diasumsikan jika siswa tidak belajar sama sekali, maka nilai ujiannya nol. Model regresi yang diinginkan harus memiliki intersep 0 dan berbentuk:

\[ y = \beta_1 x + \varepsilon \]

Pertanyaan:

a) Apa matriks \(X\) untuk model seperti itu?
b) Temukan \(X'X\), \((X'X)^{-1}\), dan \(X'Y\).
c) Temukan estimator kuadrat terkecil untuk \(\beta_1\)

d) Temukan ekspresi untuk \(s^2\) berdasarkan sampel berukuran \(n\).
e) Temukan estimator untuk var \(b_1\).
Misalkan data ini tersedia: \[ \begin{array}{c|c} \text{Jam Belajar} & \text{Nilai Ujian} \\ \text{(x)} & \text{(y)} \\ \hline 1 & 55 \\ 2 & 60 \\ 3 & 70 \\ 4 & 75 \\ 5 & 80 \\ \end{array} \]

Gunakan data ini untuk mengestimasi \(\beta_1\), \(\sigma^2\), dan varian \(b_1\).

Soal 8: Hubungan Kecepatan Mengetik dengan Jumlah Kesalahan

Sebuah studi dilakukan untuk menentukan hubungan antara kecepatan mengetik (dalam kata per menit) dan jumlah kesalahan yang dibuat. Diketahui bahwa jika tidak ada kata yang diketik, maka tidak ada kesalahan yang dibuat. Model regresi ini harus memiliki intersep 0 dan berbentuk:

\[ y = \beta_1 x + \varepsilon \]

Pertanyaan:

a) Apa matriks \(X\) untuk model seperti itu?
b) Temukan \(X'X\), \((X'X)^{-1}\), dan \(X'Y\).
c) Temukan estimator kuadrat terkecil untuk \(\beta_1\)

d) Temukan ekspresi untuk \(s^2\) berdasarkan sampel berukuran \(n\).
e) Temukan estimator untuk var \(b_1\).
Misalkan data ini tersedia:
\[ \begin{array}{c|c} \text{Kecepatan Mengetik} & \text{Jumlah Kesalahan} \\ \text{(x)} & \text{(y)} \\ \hline 20 & 1 \\ 30 & 2 \\ 40 & 3 \\ 50 & 4 \\ 60 & 5 \\ \end{array} \]

Gunakan data ini untuk mengestimasi \(\beta_1\), \(\sigma^2\), dan varian \(b_1\).

Soal 9: Pengaruh Intensitas Cahaya terhadap Laju Pertumbuhan Tanaman

Seorang ilmuwan ingin mempelajari pengaruh intensitas cahaya (dalam lumen) terhadap laju pertumbuhan tanaman (dalam cm per hari). Diasumsikan jika tidak ada cahaya, maka tidak ada pertumbuhan tanaman. Model regresi ini harus memiliki intersep 0 dan berbentuk:

\[ y = \beta_1 x + \varepsilon \]

Pertanyaan:

a) Apa matriks \(X\) untuk model seperti itu?
b) Temukan \(X'X\), \((X'X)^{-1}\), dan \(X'Y\).
c) Temukan estimator kuadrat terkecil untuk \(\beta_1\)

d) Temukan ekspresi untuk \(s^2\) berdasarkan sampel berukuran \(n\).
e) Temukan estimator untuk var \(b_1\).
Misalkan data ini tersedia:
\[ \begin{array}{c|c} \text{Intensitas Cahaya} & \text{Laju Pertumbuhan} \\ \text{(x)} & \text{(y)} \\ \hline 100 & 0.5 \\ 200 & 1.0 \\ 300 & 1.5 \\ 400 & 2.0 \\ 500 & 2.5 \\ \end{array} \]

Gunakan data ini untuk mengestimasi \(\beta_1\), \(\sigma^2\), dan varian \(b_1\).

Soal 10: Hubungan Konsumsi Air dengan Produktivitas Kerja

Dalam sebuah eksperimen, seorang peneliti ingin melihat hubungan antara konsumsi air (dalam liter) dengan produktivitas kerja (dalam jumlah tugas selesai). Diketahui bahwa jika tidak ada konsumsi air, maka produktivitas kerja dianggap nol. Model regresi yang digunakan harus memiliki intersep 0 dan berbentuk:

\[ y = \beta_1 x + \varepsilon \]

Pertanyaan:

a) Apa matriks \(X\) untuk model seperti itu?
b) Temukan \(X'X\), \((X'X)^{-1}\), dan \(X'Y\).
c) Temukan estimator kuadrat terkecil untuk \(\beta_1\)

d) Temukan ekspresi untuk \(s^2\) berdasarkan sampel berukuran \(n\).
e) Temukan estimator untuk var \(b_1\).
Misalkan data ini tersedia:
\[ \begin{array}{c|c} \text{Konsumsi Air} & \text{Produktivitas Kerja} \\ \text{(x)} & \text{(y)} \\ \hline 1 & 3 \\ 2 & 5 \\ 3 & 7 \\ 4 & 9 \\ 5 & 11 \\ \end{array} \]

Gunakan data ini untuk mengestimasi \(\beta_1\), \(\sigma^2\), dan varian \(b_1\).