Model Linear Tidak Berpangkat Penuh

Model Linear Tidak Berpangkat Penuh adalah model di mana matriks desain \(X\) tidak memiliki pangkat penuh (full rank). Hal ini menyebabkan matriks \(X'X\) menjadi singular, yang artinya tidak ada invers yang dapat dihitung. Sebagai akibatnya, parameter \(\boldsymbol{\beta}\) tidak dapat diduga secara unik.

Untuk mengatasi masalah ini, digunakan metode reparameterisasi, yang memungkinkan kita untuk mengubah bentuk model sehingga matriks desain \(X\) memiliki pangkat penuh. Dengan demikian, invers dari \(X'X\) bisa dihitung, dan kita bisa mendapatkan pendugaan parameter yang unik.

• Model linear dapat dinyatakan dalam bentuk umum: \[ \mathbf{Y}_{n \times 1} = \mathbf{X}_{n \times (k+1)} \boldsymbol{\beta}_{(k+1) \times 1} + \boldsymbol{\varepsilon}_{n \times 1} \] Di mana:

  • \(\mathbf{Y}\) adalah vektor respons (ukuran \(n \times 1\)),

  • \(\mathbf{X}\) adalah matriks desain (ukuran \(n \times (k+1)\)),

  • \(\boldsymbol{\beta}\) adalah vektor parameter yang ingin diduga (ukuran \((k+1) \times 1\)),

  • \(\boldsymbol{\varepsilon}\) adalah vektor error acak yang biasanya diasumsikan berdistribusi normal \(\boldsymbol{\varepsilon} \sim \mathcal{N}(0, \sigma^2 \mathbf{I})\).

• Model berpangkat penuh: Jika \(\text{rank}(\mathbf{X}) = k+1\), matriks \(\mathbf{X}\) disebut berpangkat penuh. Dalam hal ini, matriks \(\mathbf{X}' \mathbf{X}\) (matriks kovarians) memiliki invers dan parameter \(\boldsymbol{\beta}\) dapat diduga secara unik menggunakan persamaan normal: \[ \boldsymbol{\hat{\beta}} = (\mathbf{X}' \mathbf{X})^{-1} \mathbf{X}' \mathbf{Y} \]

• Model tidak berpangkat penuh: Jika \(\text{rank}(\mathbf{X}) < k+1\), maka matriks \(\mathbf{X}\) tidak berpangkat penuh dan matriks \(\mathbf{X}' \mathbf{X}\) tidak memiliki invers (singular). Dalam kasus ini, solusi untuk parameter \(\boldsymbol{\beta}\) tidak unik dan terdapat tak terhingga solusi yang memenuhi persamaan normal: \[ \mathbf{X}' \mathbf{X} \boldsymbol{b} = \mathbf{X}' \mathbf{Y} \]

  Pada model tidak berpangkat penuh, masalah utamanya adalah ketidakmampuan menduga semua parameter \(\boldsymbol{\beta}\) secara unik karena multikolinearitas atau ketergantungan linier antar kolom dalam matriks \(\mathbf{X}\).

Contoh Kasus:

Misalkan ada dua variabel prediktor yang sempurna berkorelasi, seperti \(X_1 = X_2\), maka model tidak berpangkat penuh, karena matriks \(\mathbf{X}\) akan memiliki kolom yang identik, menyebabkan rank lebih kecil dari \(k+1\).

Implementasi R untuk Model Tidak Berpangkat Penuh:

# Membuat matriks X yang tidak berpangkat penuh (dua kolom yang identik)
X <- matrix(c(1, 1, 1, 0, 0, 0, 1, 0, 0, 0, 1, 1), nrow=4, byrow=TRUE)

# Membuat vektor Y (respons)
Y <- c(5, 6, 7, 8)

# Estimasi parameter menggunakan generalized inverse (MASS package)
library(MASS)
beta <- ginv(t(X) %*% X) %*% t(X) %*% Y
beta

##          [,1]
## [1,] 3.666667
## [2,] 2.333333
## [3,] 2.333333

• Penjelasan Implementasi:

  • Matriks \(\mathbf{X}\) memiliki dua kolom yang identik, menyebabkan rank matriks lebih kecil dari \(k+1\).

  • Karena \(\mathbf{X}' \mathbf{X}\) singular, digunakan generalized inverse dari fungsi ginv() di R untuk menduga parameter \(\boldsymbol{\beta}\). Dengan generalized inverse, kita tetap bisa menemukan solusi meskipun tidak unik.

Reparameterisasi

• Reparameterisasi adalah proses mendefinisikan ulang parameter dalam model sehingga matriks desain \(\mathbf{X}\) yang tidak berpangkat penuh dapat diubah menjadi berpangkat penuh. Ini dilakukan dengan menggabungkan parameter tertentu sehingga struktur matriks berubah dan sistem persamaan normal bisa dipecahkan.

• Contoh penerapan reparameterisasi muncul dalam analisis desain eksperimen, seperti Rancangan Acak Lengkap (RAL). Pada model RAL, persamaan dasar model adalah: \[ y_{ij} = \mu + \tau_i + \varepsilon_{ij} \] di mana:

  • \(y_{ij}\) adalah respons dari ulangan ke-j pada perlakuan ke-i,

  • \(\mu\) adalah rataan umum,

  • \(\tau_i\) adalah efek perlakuan ke-i,

  • \(\varepsilon_{ij}\) adalah error acak.

  Dengan reparameterisasi, kita dapat mendefinisikan ulang: \[ \mu_i = \mu + \tau_i \] Sehingga model berubah menjadi: \[ y_{ij} = \mu_i + \varepsilon_{ij} \] Dalam bentuk ini, matriks desain \(\mathbf{X}\) dapat diubah sehingga berpangkat penuh.

Implementasi R untuk Reparameterisasi:

# Matriks X setelah reparameterisasi untuk model RAL
X_reparam <- matrix(c(1, 1, 0, 1, 0, 1), nrow=3)
Y_reparam <- c(10, 12, 14)

# Estimasi parameter setelah reparameterisasi
beta_reparam <- ginv(t(X_reparam) %*% X_reparam) %*% t(X_reparam) %*% Y_reparam
beta_reparam

##          [,1]
## [1,] 6.666667
## [2,] 8.666667

• Penjelasan Implementasi:
  • Setelah reparameterisasi, matriks \(\mathbf{X}\) yang semula tidak berpangkat penuh menjadi berpangkat penuh, memungkinkan kita menghitung invers biasa untuk mendapatkan parameter \(\boldsymbol{\beta}\).

Matriks Kebalikan Bersyarat (Conditional Inverse)

• Ketika sebuah matriks \(\mathbf{A}\) singular (tidak dapat diinvers secara biasa), kita dapat menggunakan matriks kebalikan bersyarat atau generalized inverse yang memenuhi: \[ \mathbf{A} \mathbf{A}^c \mathbf{A} = \mathbf{A} \] di mana \(\mathbf{A}^c\) adalah matriks kebalikan bersyarat dari \(\mathbf{A}\).

• Conditional inverse atau generalized inverse sangat berguna dalam situasi di mana matriks desain \(\mathbf{X}\) tidak berpangkat penuh, sehingga kita tetap bisa menemukan solusi meskipun tidak unik.

Implementasi R untuk Matriks Kebalikan Bersyarat:

# Matriks A yang singular (tidak bisa di-invers secara biasa)
A <- matrix(c(1, 2, 3, 2, 4, 6), nrow=2)

# Generalized inverse (Matriks Kebalikan Bersyarat)
A_c <- ginv(A)
A_c

##            [,1]       [,2]
## [1,] -0.1666667  0.1666667
## [2,]  0.5666667 -0.3666667
## [3,] -0.1333333  0.2333333

• Penjelasan Implementasi:
  • Matriks \(\mathbf{A}\) dalam contoh ini adalah singular, yang artinya tidak bisa diinvers menggunakan metode biasa. Dengan generalized inverse, kita tetap bisa mendapatkan solusi dari sistem persamaan.

Fungsi yang Dapat Diduga (Estimability)

• Suatu fungsi linier dari parameter \(\boldsymbol{\beta}\) disebut dapat diduga (estimable) jika ada solusi dari persamaan berikut: \[ (\mathbf{X}'\mathbf{X}) \mathbf{z} = \mathbf{t} \] di mana \(\mathbf{t}\) adalah vektor fungsi linier dari parameter \(\boldsymbol{\beta}\). Jika solusi \(\mathbf{z}\) dapat ditemukan, maka fungsi tersebut dapat diduga.

• Dalam model yang tidak berpangkat penuh, tidak semua fungsi linier dari parameter \(\boldsymbol{\beta}\) dapat diduga. Fungsi yang dapat diduga adalah fungsi yang bisa diestimasi tanpa bias, dengan syarat ada solusi \(\mathbf{z}\) untuk persamaan di atas.

Contoh Soal

\[ A = \begin{bmatrix} 1 & 2 & 5 & 2 \\ 3 & 7 & 12 & 4 \\ 0 & 1 & -3 & -2 \end{bmatrix} \] a. Tunjukkan bahwa \(r(A) = 2\).

\[ M = \begin{bmatrix} 1 & 2 \\ 3 & 7 \end{bmatrix} \] b. Tunjukkan bahwa invers kondisional berdasarkan minor ini adalah: \[ A^c = \begin{bmatrix} 7 & -2 & 0 \\ -3 & 1 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{bmatrix} \]

c.Temukan invers kondisional lain untuk \(A\).

Jawaban:

a.Metode Gauss: \[ A = \begin{bmatrix} 1 & 2 & 5 & 2 \\ 3 & 7 & 12 & 4 \\ 0 & 1 & -3 & -2 \end{bmatrix} \]

Operasi baris: \[ R_2 \leftarrow R_2 - 3R_1 \] \[ A = \begin{bmatrix} 1 & 2 & 5 & 2 \\ 3 & 7 & 12 & 4 \\ 0 & 1 & -3 & -2 \end{bmatrix} \]

Operasi baris: \[ R_1 \leftarrow R_1 - 2R_2 \] \[ R_3 \leftarrow R_3 - R_2 \] \[ A = \begin{bmatrix} 1 & 2 & 5 & 2 \\ 0 & 1 & -3 & -2 \\ 0 & 1 & -3 & -2 \end{bmatrix} \]

Maka, \[ A = \begin{bmatrix} 1 & 0 & 11 & 6 \\ 0 & 1 & -3 & -2 \\ 0 & 0 & 0 & 0 \end{bmatrix} \] \(r(A) = 2\).

Metode Minor Matriks: \[ M_{2x2} = \begin{bmatrix} 1 & 2 \\ 3 & 7 \end{bmatrix}, \quad \text{det}(M_{2x2}) = 7 - 6 = 1 \] \[ M_{2x2} = \begin{bmatrix} 2 & 5 \\ 7 & 12 \end{bmatrix}, \quad \text{det}(M_{2x2}) = 24 - 35 = -9 \]

Karena \(\text{det}(M_{2x2}) \neq 0\), maka \(r(A) = 2\).

b.\[ M = \begin{bmatrix} 1 & 2 \\ 3 & 7 \end{bmatrix}, \quad \text{det}(M) = 7 - 6 = 1 \neq 0 \quad \text{(non-singular)} \]

Invers minor: \[ M^{-1} = \frac{1}{1} \begin{bmatrix} 7 & -2 \\ -3 & 1 \end{bmatrix} \]

Sehingga, \((M^{-1})' = \begin{bmatrix} 7 & -3 \\ -2 & 1 \end{bmatrix}\).

\[ A = \begin{bmatrix} 7 & -3 & 0 & 0 \\ -2 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix}, \quad A^c = \begin{bmatrix} 7 & -2 & 0 \\ -3 & 1 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{bmatrix} \]

c.\[ M_2 = \begin{bmatrix} 12 & 4 \\ -3 & -2 \end{bmatrix}, \quad \text{det}(M_2) = -24 - (-12) = -12 \neq 0 \]

Invers dari \(M_2\): \[ M_2^{-1} = -\frac{1}{12} \begin{bmatrix} -2 & -4 \\ 3 & 12 \end{bmatrix} = \begin{bmatrix} \frac{1}{6} & \frac{1}{3} \\ -\frac{1}{4} & -1 \end{bmatrix} \]

\[ ( M_2^{-1})' = \begin{bmatrix} \frac{1}{6} & -\frac{1}{4} \\ \frac{1}{3} & -1 \end{bmatrix} \]

\[ A = \begin{bmatrix} 0 & 0 & 0 & 0 \\ 0 & 0 & \frac{1}{6} & -\frac{1}{4} \\ 0 & 0 & \frac{1}{3} & -1 \end{bmatrix} \]

Maka, invers kondisional lainnya adalah: \[ A^c = \begin{bmatrix} 0 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & \frac{1}{6} & \frac{1}{3} \\ 0 & -\frac{1}{4} & -1 \end{bmatrix} \]

Latihan Soal