Fungsi Parameter yang Dapat Diduga (Estimable)

Penjelasan:

• Fungsi linier dari parameter \(\boldsymbol{\beta}\) dalam model linear disebut dapat diduga (estimable) jika ada vektor \(\mathbf{c}\) yang memenuhi: \[ \mathbb{E}[\mathbf{c}'\mathbf{y}] = \mathbf{t}'\boldsymbol{\beta} \] Artinya, nilai harapan dari kombinasi linier data respons \(\mathbf{y}\) sama dengan fungsi \(\mathbf{t}'\boldsymbol{\beta}\). Ini berarti bahwa \(\mathbf{t}'\boldsymbol{\beta}\) dapat diestimasi secara tak bias.

• Agar \(\mathbf{t}'\boldsymbol{\beta}\) dapat diduga, harus ada solusi untuk persamaan berikut: \[ (\mathbf{X}'\mathbf{X})\mathbf{z} = \mathbf{t} \] di mana \(\mathbf{X}\) adalah matriks desain dan \(\mathbf{t}\) adalah vektor fungsi dari parameter \(\boldsymbol{\beta}\). Solusi \(\mathbf{z}\) yang diperoleh akan menunjukkan apakah fungsi tersebut dapat diduga.

• Teorema 5.5.1 menyatakan bahwa setiap komponen dari \(\mathbf{X}\boldsymbol{\beta}\) adalah estimable, artinya semua komponen dari kombinasi linier antara matriks desain \(\mathbf{X}\) dan parameter \(\boldsymbol{\beta}\) bisa diestimasi.

• Teorema 5.5.2 menyebutkan bahwa kombinasi linier dari beberapa fungsi yang dapat diduga juga akan estimable. Jika \(t_1'\beta\), \(t_2'\beta\), …, \(t_k'\beta\) adalah fungsi estimable, maka kombinasi linier dari fungsi tersebut juga dapat diduga: \[ z = a_1 t_1'\beta + a_2 t_2'\beta + ... + a_k t_k'\beta \] Penduga terbaik untuk \(z\) adalah: \[ z = a_1 t_1'\mathbf{b} + a_2 t_2'\mathbf{b} + \cdots + a_k t_k'\mathbf{b} \] di mana \(\mathbf{b}\) adalah penduga parameter yang diperoleh dari solusi persamaan normal.

Implementasi R untuk Fungsi Estimable:

# Matriks X (n x p)
X <- matrix(c(1, 1, 0, 1, 0, 1, 1, 0, 0, 1, 1, 1), nrow = 4, byrow = TRUE)

# Vektor Y (respons)
Y <- c(5, 6, 7, 8)

# Vektor t (fungsi parameter)
t <- c(1, 0, 1)

# Menyelesaikan sistem (X'X)z = t untuk mendapatkan z (fungsi estimable)
XtX <- t(X) %*% X
z <- solve(XtX, t)
z

## [1]  0.25 -0.50  0.50

Sistem persamaan \((\mathbf{X}'\mathbf{X})z = t\) digunakan untuk mencari solusi \(\mathbf{z}\), yang menunjukkan bahwa fungsi \(\mathbf{t}'\boldsymbol{\beta}\) adalah estimable. Matriks \(\mathbf{X}'\mathbf{X}\) harus memiliki invers (atau generalized inverse jika tidak berpangkat penuh) agar \(\mathbf{z}\) dapat dihitung.

Pendugaan Ragam Galat

Penjelasan:

• Ragam galat (\(\sigma^2\)) mengukur variabilitas yang tidak dijelaskan oleh model linear. Dalam model linear, ragam galat bisa diduga melalui jumlah kuadrat residu (\(SS_{\text{res}}\)): \[ SS_{\text{res}} = \mathbf{y}' \left[\mathbf{I} - \mathbf{X} (\mathbf{X}'\mathbf{X})^c \mathbf{X}'\right] \mathbf{y} \] di mana \((\mathbf{X}'\mathbf{X})^c\) adalah matriks kebalikan umum (generalized inverse) dari \(\mathbf{X}'\mathbf{X}\), karena pada model tidak berpangkat penuh, \(\mathbf{X}'\mathbf{X}\) tidak memiliki invers biasa.

• Penduga tak bias untuk ragam galat diberikan oleh: \[ s^2 = \frac{SS_{\text{res}}}{n - r} \] di mana:

  • \(SS_{\text{res}}\) adalah jumlah kuadrat residu,
  • \(n\) adalah jumlah observasi,
  • \(r\) adalah rank dari matriks desain \(\mathbf{X}\).

• Teorema 5.6.1 menunjukkan bahwa jumlah kuadrat residu \(SS_{\text{res}}\) dapat ditulis dalam bentuk: \[ SS_{\text{res}} = \mathbf{y}'\mathbf{y} - 2 \mathbf{y}'\mathbf{X}\mathbf{b} + \mathbf{b}'\mathbf{X}'\mathbf{X}\mathbf{b} \] dengan \(\mathbf{b} = (\mathbf{X}'\mathbf{X})^c \mathbf{X}'\mathbf{y}\).

Implementasi R untuk Pendugaan Ragam Galat:

library(MASS)
# Hitung jumlah kuadrat residu (SSRes)
b <- ginv(t(X) %*% X) %*% t(X) %*% Y  # Penduga parameter
Y_hat <- X %*% b  # Nilai prediksi
residuals <- Y - Y_hat  # Residu

SSRes <- sum(residuals^2)  # Jumlah kuadrat residu (SSRes)

# Pendugaan ragam galat
n <- length(Y)
r <- qr(X)$rank
s2 <- SSRes / (n - r)  # Ragam galat tak bias
s2

## [1] 4

Kita menghitung jumlah kuadrat residu \(SS_{\text{res}}\) menggunakan residu dari model, yaitu selisih antara data observasi \(\mathbf{y}\) dan nilai prediksi \(\hat{\mathbf{y}}\). Kemudian, penduga \(s^2\) dihitung dengan membagi \(SS_{\text{res}}\) dengan derajat bebas \(n - r\).

Selang Kepercayaan Fungsi Parameter

Penjelasan:

• Selang kepercayaan untuk fungsi parameter \(\mathbf{t}'\boldsymbol{\beta}\) digunakan untuk mengukur ketidakpastian dalam pendugaan fungsi tersebut. Selang kepercayaan 95% untuk \(\mathbf{t}'\boldsymbol{\beta}\) diberikan oleh: \[ \mathbf{t}'\mathbf{b} \pm t_{\alpha/2} \sqrt{\mathbf{t}' (\mathbf{X}'\mathbf{X})^c \mathbf{t} s^2} \] di mana:
  • \(\mathbf{t}'\mathbf{b}\) adalah penduga untuk fungsi \(\mathbf{t}'\boldsymbol{\beta}\),
  • \(t_{\alpha/2}\) adalah nilai kritis dari distribusi \(t\)-Student dengan derajat bebas \(n - r\),
  • \(s^2\) adalah penduga ragam galat.
• Teorema 5.7.1 menyatakan bahwa jumlah kuadrat residu yang dinormalisasi mengikuti distribusi chi-squared dengan derajat bebas \(n - r\), dan selang kepercayaan dapat dihitung berdasarkan distribusi ini.

Implementasi R untuk Selang Kepercayaan:

# Nilai t untuk distribusi t-Student dengan derajat bebas (n-r)
t_val <- qt(0.975, df = n - r)  # 95% confidence interval

# Estimasi fungsi t'b
t_prime_b <- t(t) %*% b  # t'b

# Menghitung standard error dari t'b
se_t_prime_b <- sqrt(t(t) %*% ginv(t(X) %*% X) %*% t * s2)

# Selang kepercayaan untuk t'b
ci_lower <- t_prime_b - t_val * se_t_prime_b
ci_upper <- t_prime_b + t_val * se_t_prime_b

c(ci_lower, ci_upper)

## [1] -15.00779  29.00779

Selang kepercayaan dihitung berdasarkan distribusi \(t\)-Student dengan derajat bebas \(n - r\). Nilai \(t_{\alpha/2}\) memberikan batas kritis untuk selang kepercayaan. Standard error dari \(\mathbf{t}'\mathbf{b}\) dihitung menggunakan ragam galat \(s^2\) dan generalized inverse dari matriks \(\mathbf{X}'\mathbf{X}\).

Contoh Soal

Misalkan untuk model linear tertentu,

\[ X = \begin{pmatrix} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1 \end{pmatrix} \]

dan

\[ X'y = \begin{pmatrix} 5 \\ 3 \\ 2 \end{pmatrix} \]

1. Tunjukkan bahwa \(|X'X| = 0\) dan karena itu \((X'X)\) adalah singular.

2. Tunjukkan bahwa \(r(X'X) = 2\).

3. Tunjukkan bahwa sistem persamaan normal konsisten.

4. Temukan invers kondisional untuk \((X'X)\) berdasarkan minor \(M = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}\).

5. Gunakan Teorema 5.3.4 untuk menemukan solusi persamaan normal.

6. Gunakan Teorema 5.3.5 untuk menemukan dua solusi lain dari persamaan normal.

7. Temukan invers kondisional untuk \(X'X\) berdasarkan minor \(M = \begin{pmatrix} 4 & 2 \\ 2 & 2 \end{pmatrix}\).

8. Temukan solusi untuk persamaan normal berdasarkan invers kondisional dari bagian g.

Jawaban:

1. \[ X'X = \begin{pmatrix} 1 & 1 & 1 & 1 \\ 1 & 1 & 0 & 0 \\ 0 & 0 & 1 & 1 \end{pmatrix} \begin{pmatrix} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1 \end{pmatrix} = \begin{pmatrix} 4 & 2 & 2 \\ 2 & 2 & 0 \\ 2 & 0 & 2 \end{pmatrix} \]

Determinannya:

\[ det(X'X) = (16 + 0 + 0) - (8 + 8 + 0) = 16 - 16 = 0 \]

Singular.

2. \[ M_{2x2} = \begin{pmatrix} 4 & 2 \\ 2 & 2 \end{pmatrix} \quad \Rightarrow \quad det = 8 - 4 = 4 \]

\[ M_{2x2} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} \quad \Rightarrow \quad det = 4 - 0 = 4 \]

Karena \(M_{2x2} \neq 0\), maka \(r(X'X) = 2\).

3. Sistem persamaan normal:

\[ (X'X)b = X'y \]

\[ \begin{pmatrix} 4 & 2 & 2 \\ 2 & 2 & 0 \\ 2 & 0 & 2 \end{pmatrix} \begin{pmatrix} b_0 \\ b_1 \\ b_2 \end{pmatrix} = \begin{pmatrix} 5 \\ 3 \\ 2 \end{pmatrix} \]

Persamaan:

\[ 4b_0 + 2b_1 + 2b_2 = 5 \] \[ 2b_0 + 2b_1 = 3 \] \[ 2b_0 + 2b_2 = 2 \]

Misalkan \(b_0 = 0\):

\[ 2b_1 + 2b_2 = 3 \quad \Rightarrow \quad 2b_0 + 2b_2 = 2 \]

Maka:

\[ b_2 = 1 \quad b_1 = \frac{3}{2} \]

Solusi:

\[ 4(0) + 2\left(\frac{3}{2}\right) + 2(1) = 5 \] \[ 0 + 3 + 2 = 5 \]

4. \(M = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}\)

Determinannya:

\[ det(M) = 4 - 0 = 4 \]

Invers:

\[ M^{-1} = \frac{1}{4} \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} = \begin{pmatrix} \frac{1}{2} & 0 \\ 0 & \frac{1}{2} \end{pmatrix} \]

Transpose invers:

\[ (M^{-1})' = \begin{pmatrix} \frac{1}{2} & 0 \\ 0 & \frac{1}{2} \end{pmatrix} \]

Transformasi untuk \(X'X\):

\[ (X'X)^{-} = \begin{pmatrix} 0 & 0 & 0 \\ 0 & \frac{1}{2} & 0 \\ 0 & 0 & \frac{1}{2} \end{pmatrix} \]

5. Teorema 5.3.4

Ketika \(Ax = b\) konsisten, maka \(x = A^C y\) adalah solusi dari sistem, di mana \(A^C\) adalah invers bersyarat dari \(A\).

\[ AA^C Ax = Ax \quad \Rightarrow \quad AA^C y = y \]

Ketika \(x_0 = A^C y\), maka \(A x_0 = y\).
Artinya:

\[ (X'X)b = X'y \quad \Rightarrow \quad b = (X'X)^C X'y \]

Diketahui \(M = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}\), maka:

\[ (X'X)^C = \begin{pmatrix} 0 & 0 & 0 \\ 0 & \frac{1}{2} & 0 \\ 0 & 0 & \frac{1}{2} \end{pmatrix} \]

Kemudian, menghitung \(b\):

\[ b = (X'X)^C X'y = \begin{pmatrix} 0 & 0 & 0 \\ 0 & \frac{1}{2} & 0 \\ 0 & 0 & \frac{1}{2} \end{pmatrix} \begin{pmatrix} 5 \\ 3 \\ 2 \end{pmatrix} = \begin{pmatrix} 0 \\ \frac{3}{2} \\ 1 \end{pmatrix} \]

6. Teorema 5.3.5

Ketika \(Ax = b\) konsisten dan \(A^C\) merupakan invers bersyarat dari \(A\), maka:

\[ x_0 = A^C y + (I - A^C A)z \]

Maka:

\[ b_0 = (X'X)^C X'y + \left[ I - (X'X)^C (X'X) \right] z \]

Misalkan \(z = \begin{pmatrix} 1 \\ 1 \\ 1 \end{pmatrix}\), kita peroleh:

\[ b_0 = \begin{pmatrix} 0 \\ \frac{3}{2} \\ 1 \end{pmatrix} + \begin{pmatrix} -1 \\ \frac{1}{2} \\ 0 \end{pmatrix} = \begin{pmatrix} -1 \\ 2 \\ 1 \end{pmatrix} \]

7. Menghitung invers bersyarat \(X'X\)

Diketahui \(M = \begin{pmatrix} 4 & 2 \\ 2 & 2 \end{pmatrix}\), maka:

\[ \text{det}(M) = 8 - 4 = 4 \]

Maka invers dari \(M\) adalah:

\[ M^{-1} = \frac{1}{4} \begin{pmatrix} 2 & -2 \\ -2 & 4 \end{pmatrix} = \begin{pmatrix} \frac{1}{2} & -\frac{1}{2} \\ -\frac{1}{2} & 1 \end{pmatrix} \]

Dengan demikian, \((M^{-1})'\) adalah:

\[ (M^{-1})' = \begin{pmatrix} \frac{1}{2} & -\frac{1}{2} \\ -\frac{1}{2} & 1 \end{pmatrix} \]

Sehingga:

\[ (X'X)^C = \begin{pmatrix} \frac{1}{2} & -\frac{1}{2} & 0 \\ -\frac{1}{2} & 1 & 0 \\ 0 & 0 & 0 \end{pmatrix} \]

8. Menghitung \(b_0\)

\[ b_0 = (X'X)^C X'y = \begin{pmatrix} \frac{1}{2} & -\frac{1}{2} & 0 \\ -\frac{1}{2} & 1 & 0 \\ 0 & 0 & 0 \end{pmatrix} \begin{pmatrix} 5 \\ 3 \\ 2 \end{pmatrix} = \begin{pmatrix} 1 \\ \frac{1}{2} \\ 0 \end{pmatrix} \]

Latihan Soal