PML - Hipotesis linier One-Way Classification

Video Pembelajaran - P10

Video Pembelajaran dapat diakses melalui link berikut : https://ipb.link/materipml

Model Linier Umum dalam Klasifikasi Satu Arah

Pada model linier satu arah (one-way classification), kita mencoba menganalisis apakah ada perbedaan signifikan antara beberapa perlakuan. Model ini sering digunakan dalam eksperimen di mana perlakuan-perlakuan diuji pada berbagai objek, seperti dalam rancangan percobaan sederhana.

Model liniernya adalah:

\[ y_{ij} = \mu + \tau_i + \epsilon_{ij}, \quad i = 1, \dots, k \quad j = 1, \dots, n_i \]

  • \(y_{ij}\): pengamatan ke-\(j\) pada perlakuan ke-\(i\),
  • \(\mu\): rataan umum,
  • \(\tau_i\): efek dari perlakuan ke-\(i\),
  • \(\epsilon_{ij}\): kesalahan acak (\(\epsilon_{ij} \sim N(0, \sigma^2)\)).

Asumsi Utama:

  • Kesalahan \(\epsilon_{ij}\) berdistribusi normal dengan rata-rata nol dan variansi homogen.

  • Perlakuan \(\tau_i\) adalah pengaruh tetap dari perlakuan ke-\(i\) terhadap respons \(y_{ij}\).

Model dalam Bentuk Matriks

Model di atas dapat dituliskan dalam bentuk matriks sebagai:

\[ \mathbf{y} = X \boldsymbol{\beta} + \boldsymbol{\epsilon} \]

  • \(\mathbf{y}\) adalah vektor pengamatan,
  • \(X\) adalah matriks desain yang mengkode perlakuan (sering disebut sebagai matriks model atau desain),
  • \(\boldsymbol{\beta}\) adalah vektor parameter yang akan diestimasi (terdiri dari \(\mu\) dan efek perlakuan \(\tau_i\)),
  • \(\boldsymbol{\epsilon}\) adalah vektor kesalahan acak.

Matriks desain \(X\) pada model ini mengandung kolom yang mengkodekan perlakuan-perlakuan. Pada umumnya, model ini adalah model linier aditif.

Hipotesis yang Diuji

Pengujian hipotesis dilakukan untuk mengevaluasi apakah semua perlakuan memiliki efek yang sama. Hipotesis nol (\(H_0\)) yang diuji adalah:

\[ H_0: \tau_1 = \tau_2 = \dots = \tau_k \]

Artinya, tidak ada perbedaan antara efek dari masing-masing perlakuan. Hipotesis ini juga bisa dituliskan dalam bentuk matriks sebagai:

\[ H_0: C \beta = 0 \]

di mana:

  • \(C\) adalah matriks kontras yang mendefinisikan hubungan antar parameter (dalam hal ini perbedaan antar perlakuan),

  • \(\beta\) adalah vektor parameter.

Contoh untuk tiga perlakuan (\(\tau_1\), \(\tau_2\), dan \(\tau_3\)), matriks kontras \(C\) yang digunakan untuk menguji apakah ada perbedaan antara perlakuan 1, 2, dan 3 bisa dituliskan sebagai:

\[ C = \begin{pmatrix} 1 & -1 & 0 \\ 0 & 1 & -1 \end{pmatrix} \]

Proses Pengujian Hipotesis

Estimasi Parameter dengan Least Squares

Untuk mengestimasi parameter (\(\beta\)), kita menggunakan metode Least Squares. Estimasi parameter \(\hat{\beta}\) diberikan oleh:

\[ \hat{\beta} = (X'X)^{-1} X'y \]

di mana:

  • \(X'\) adalah transpos dari matriks desain,

  • \(y\) adalah vektor pengamatan.

Matriks Kontras

Matriks kontras \(C\) digunakan untuk mendefinisikan hipotesis yang ingin diuji. Matriks ini menentukan perbedaan antar parameter (misalnya antar perlakuan). Dalam konteks ini, \(C\) merumuskan perbedaan antara efek perlakuan.

Statistik Uji F

Statistik uji yang digunakan adalah statistik F yang mengikuti distribusi F. Formula statistik uji F diberikan oleh:

\[ F = \frac{C \hat{\beta}' (C (X'X)^{-1} C')^{-1} C \hat{\beta}}{s^2} \]

di mana:

  • \(C \hat{\beta}\) adalah hasil estimasi dari kontras-kontras parameter,

  • \((X'X)^{-1}\) adalah invers dari matriks informasi \(X'X\),

  • \(s^2\) adalah varians residual yang dihitung sebagai:

\[ s^2 = \frac{\sum \text{residual}^2}{n - r} \]

Keputusan Uji Hipotesis

Setelah menghitung nilai \(F\), kita bandingkan dengan nilai kritis dari distribusi F (\(F_{\text{tabel}}\)) untuk tingkat signifikansi yang diberikan (\(\alpha = 0.05\)):

  • Jika \(F_{\text{hitung}} > F_{\text{tabel}}\), kita tolak hipotesis nol dan menyimpulkan bahwa ada perbedaan signifikan antar perlakuan.
  • Jika \(F_{\text{hitung}} \leq F_{\text{tabel}}\), kita gagal menolak hipotesis nol, yang berarti tidak ada bukti yang cukup untuk menyimpulkan adanya perbedaan antar perlakuan.

Implementasi dalam R

Membuat Data dan Model Linier

Berikut contoh implementasi dalam R untuk membangun model linier dan melakukan pengujian hipotesis menggunakan data simulasi:

# Data Observasi
y <- c(3, 2, 4, 7, 6, 5)  # Observasi
treatment <- factor(rep(1:3, each = 2))  # Faktor Perlakuan (1, 2, 3 dengan 2 ulangan)

# Membuat model linier
model <- lm(y ~ treatment)

# Ringkasan dari model
summary(model)
## 
## Call:
## lm(formula = y ~ treatment)
## 
## Residuals:
##    1    2    3    4    5    6 
##  0.5 -0.5 -1.5  1.5  0.5 -0.5 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)  
## (Intercept)   2.5000     0.9574   2.611   0.0796 .
## treatment2    3.0000     1.3540   2.216   0.1135  
## treatment3    3.0000     1.3540   2.216   0.1135  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 1.354 on 3 degrees of freedom
## Multiple R-squared:  0.6857, Adjusted R-squared:  0.4762 
## F-statistic: 3.273 on 2 and 3 DF,  p-value: 0.1762

ANOVA untuk Pengujian Hipotesis

Untuk menguji hipotesis nol menggunakan ANOVA, kita bisa menjalankan fungsi anova():

# Menghitung ANOVA untuk model
anova_result <- anova(model)

# Menampilkan hasil ANOVA
anova_result
## Analysis of Variance Table
## 
## Response: y
##           Df Sum Sq Mean Sq F value Pr(>F)
## treatment  2   12.0  6.0000  3.2727 0.1762
## Residuals  3    5.5  1.8333

Hasil ANOVA akan memberikan statistik F, nilai p, dan apakah kita bisa menolak atau menerima hipotesis nol.

Pengujian Kontras dengan linearHypothesis()

Untuk menguji hipotesis kontras spesifik, misalnya apakah \(\tau_1 = \tau_2\) dan \(\tau_2 = \tau_3\), kita bisa menggunakan fungsi linearHypothesis() dari paket car:

# Install dan load paket 'car' jika belum terpasang
# install.packages("car")
library(car)

# Matriks kontras untuk menguji H0: tau1 = tau2 dan tau2 = tau3
C <- rbind(c(1, -1, 0), c(0, 1, -1))

# Menguji hipotesis kontras
linearHypothesis(model, C)
## Linear hypothesis test
## 
## Hypothesis:
## (Intercept) - treatment2 = 0
## treatment2 - treatment3 = 0
## 
## Model 1: restricted model
## Model 2: y ~ treatment
## 
##   Res.Df    RSS Df Sum of Sq      F Pr(>F)
## 1      5 5.6111                           
## 2      3 5.5000  2   0.11111 0.0303 0.9704

Fungsi ini akan menghitung statistik uji untuk hipotesis kontras dan memberikan hasil apakah hipotesis bisa ditolak atau tidak.

Menghitung F-Hitung Secara Manual

Jika kita ingin menghitung \(F_{\text{hitung}}\) secara manual seperti dijelaskan dalam dokumen, berikut sintaks R-nya:

# Menghitung matriks XtX dan XtY
XtX <- t(model.matrix(model)) %*% model.matrix(model)
XtY <- t(model.matrix(model)) %*% y

# Estimasi parameter (beta)
beta_hat <- solve(XtX) %*% XtY

# Matriks kontras
C <- matrix(c(1, -1, 0, 0, 1, -1), nrow = 2, byrow = TRUE)

# Menghitung F-hitung
s2 <- sum(resid(model)^2) / model$df.residual
F_value <- t(C %*% beta_hat) %*% solve(C %*% solve(XtX) %*% t(C)) %*% (C %*% beta_hat) / s2

F_value
##            [,1]
## [1,] 0.06060606

Contoh Soal

Pertimbangkan model klasifikasi satu arah dengan efek tetap dan \(k = 3\). Periksa setiap hipotesis nol berikut untuk testability.

  1. \(H_0: \tau_1 = \tau_3 \text{ dan } \tau_1 - 2\tau_2 + \tau_3 = 0\)

  2. \(H_0: \tau_1 = \tau_2 \text{ dan } \tau_1 = \tau_3 \text{ dan } 2\tau_1 - \tau_2 - \tau_3 = 0\)

  1. \(H_0: \tau_1 = \tau_3\) dan \(H_0: \tau_1 - 2\tau_2 + \tau_3 = 0\) apakah testable?

Jawaban:

Model statistik:

\[ y_{ij} = \mu + \tau_i + \varepsilon_{ij} \quad i = 1,2,3 \quad j = 1,2,...,n_i \]

\[ \tau_1 - 2\tau_2 + \tau_3 = 0 \]

\[ C_2 = \begin{bmatrix} 0 & 1 & -2 & 1 \end{bmatrix} \]

\[ \tau_1 = \tau_3 \]

\[ C_1 = \begin{bmatrix} 0 & 1 & 0 & -1 \end{bmatrix} \]

\[ C = \begin{bmatrix} 0 & 1 & -2 & 1 \\ 0 & 1 & 0 & -1 \end{bmatrix} \]

\[ \alpha_1 \begin{bmatrix} 0 & 1 & -2 & 1 \end{bmatrix} + \alpha_2 \begin{bmatrix} 0 & 1 & 0 & -1 \end{bmatrix} = 0 \]

\[ \Rightarrow \alpha_1 + \alpha_2 = 0 \] \[ \Rightarrow -2\alpha_1 + 0 = 0 \] \[ \Rightarrow \alpha_1 - \alpha_2 = 0 \]

Maka, kesimpulannya:

\[ \alpha_1 = \alpha_2 = 0 \]

Sehingga \(C\) independen dan \(H_0\) testable.

  1. \[ H_0: \tau_1 = \tau_2 \quad \text{dan} \quad \tau_1 = \tau_3 \quad \text{dan} \quad 2\tau_1 - \tau_2 - \tau_3 = 0 \]

\[ C = \begin{bmatrix} 0 & 1 & -1 & 0 \\ 0 & 1 & 0 & -1 \\ 0 & 2 & -1 & -1 \end{bmatrix} \quad \beta = \begin{bmatrix} \mu \\ \tau_1 \\ \tau_2 \\ \tau_3 \end{bmatrix} \]

\[ c_1\beta = \begin{bmatrix} 0 & 1 & -1 & 0 \end{bmatrix} \beta = \tau_1 - \tau_2 \] \[ c_2\beta = \begin{bmatrix} 0 & 1 & 0 & -1 \end{bmatrix} \beta = \tau_1 - \tau_3 \] \[ c_3\beta = \begin{bmatrix} 0 & 2 & -1 & -1 \end{bmatrix} \beta = 2\tau_1 - \tau_2 - \tau_3 \]

\[ \alpha_1 \begin{bmatrix} 0 & 1 & -1 & 0 \end{bmatrix} + \alpha_2 \begin{bmatrix} 0 & 1 & 0 & -1 \end{bmatrix} + \alpha_3 \begin{bmatrix} 0 & 2 & -1 & -1 \end{bmatrix} = 0 \]

\[ \Rightarrow \alpha_1 + \alpha_2 + 2\alpha_3 = 0 \] \[ \Rightarrow - \alpha_1 + 0 - \alpha_3 = 0 \] \[ \Rightarrow 0 - \alpha_2 - \alpha_3 = 0 \]

Maka:

\[ \alpha_1 = 0 \] \[ \alpha_1 = \alpha_2 = -\alpha_3 = 0 \] \[ \alpha_1 = \alpha_2 = \alpha_3 = 0 \]

Sehingga \(C\) independen dan \(H_0\) testable ✓.

Latihan Soal

  1. Pertimbangkan model klasifikasi satu arah dengan efek tetap dan \(k = 3\). Periksa setiap hipotesis nol berikut untuk testability.

    1. \(H_0: \tau_1 + \tau_2 = 2\tau_3 \text{ dan } \tau_1 - \tau_2 = 0\)

    2. \(H_0: \tau_1 = \tau_2 \text{ dan } \tau_3 = \tau_2 - \tau_1 \text{ dan } \tau_1 + \tau_3 = 0\)

  1. Pertimbangkan model klasifikasi satu arah dengan efek tetap dan \(k = 3\). Periksa setiap hipotesis nol berikut untuk testability.

    1. \(H_0: \tau_1 = \tau_3 \text{ dan } 3\tau_2 - \tau_1 = \tau_3\)

    2. \(H_0: \tau_1 = 2\tau_2 - \tau_3 \text{ dan } \tau_1 + \tau_2 = \tau_3\)

  1. Pertimbangkan model klasifikasi satu arah dengan efek tetap dan \(k = 3\). Periksa setiap hipotesis nol berikut untuk testability.

    1. \(H_0: \tau_1 + \tau_2 = 3\tau_3 \text{ dan } \tau_1 - \tau_3 = \tau_2\)

    2. \(H_0: \tau_2 = \tau_1 - \tau_3 \text{ dan } \tau_1 + \tau_2 = 0\)

  1. Pertimbangkan model klasifikasi satu arah dengan efek tetap dan \(k = 3\). Periksa setiap hipotesis nol berikut untuk testability.

    1. \(H_0: \tau_1 = 2\tau_3 \text{ dan } \tau_1 - \tau_2 = \tau_3\)

    2. \(H_0: 3\tau_1 = \tau_2 \text{ dan } \tau_1 + \tau_3 = 2\tau_2\)

  1. Pertimbangkan model klasifikasi satu arah dengan efek tetap dan \(k = 3\). Periksa setiap hipotesis nol berikut untuk testability.

    1. \(H_0: 2\tau_1 - \tau_2 = \tau_3 \text{ dan } \tau_1 = \tau_2\)

    2. \(H_0: \tau_1 = \tau_3 \text{ dan } \tau_2 - \tau_3 = \tau_1 - \tau_2\)

  1. Pertimbangkan model klasifikasi satu arah dengan efek tetap dan \(k = 3\). Periksa setiap hipotesis nol berikut untuk testability.

    1. \(H_0: \tau_1 + 2\tau_2 = \tau_3 \text{ dan } \tau_2 = \tau_1 + \tau_3\)

    2. \(H_0: \tau_1 - \tau_3 = \tau_2 \text{ dan } 2\tau_1 = \tau_3\)

  1. Pertimbangkan model klasifikasi satu arah dengan efek tetap dan \(k = 3\). Periksa setiap hipotesis nol berikut untuk testability.

    1. \(H_0: \tau_1 = \tau_2 = \tau_3\)

    2. \(H_0: 2\tau_1 + \tau_3 = \tau_2 \text{ dan } \tau_1 = \tau_2 - \tau_3\)

  1. Pertimbangkan model klasifikasi satu arah dengan efek tetap dan \(k = 3\). Periksa setiap hipotesis nol berikut untuk testability.

    1. \(H_0: \tau_1 + \tau_3 = 2\tau_2 \text{ dan } \tau_1 = 2\tau_3\)

    2. \(H_0: \tau_2 = 2\tau_1 - \tau_3 \text{ dan } \tau_3 = \tau_2 + \tau_1\)

  1. Pertimbangkan model klasifikasi satu arah dengan efek tetap dan \(k = 3\). Periksa setiap hipotesis nol berikut untuk testability.

    1. \(H_0: \tau_1 + \tau_3 = \tau_2 \text{ dan } 3\tau_1 - 2\tau_2 = \tau_3\)

    2. \(H_0: \tau_2 = \tau_3 \text{ dan } \tau_1 + \tau_2 = 3\tau_3\)

  1. Pertimbangkan model klasifikasi satu arah dengan efek tetap dan \(k = 3\). Periksa setiap hipotesis nol berikut untuk testability.

  1. \(H_0: 2\tau_1 = \tau_3 \text{ dan } \tau_2 + \tau_3 = \tau_1\)

  2. \(H_0: \tau_1 = \tau_3 \text{ dan } \tau_1 + \tau_2 = 3\tau_3\)