PML - Uji Hipotesis Model Berpangkat Penuh

Video Pembelajaran - P7

Video Pembelajaran dapat diakses melalui link berikut : https://ipb.link/materipml

Pengujian Kecukupan Model

Tujuan: Pengujian kecukupan model bertujuan untuk mengetahui apakah model regresi linier yang dibangun sudah mampu menjelaskan variasi dari variabel respon \(y\) dengan baik. Dalam konteks ini, kita menguji apakah semua koefisien regresi sama dengan nol, yang berarti bahwa tidak ada variabel independen yang memiliki pengaruh signifikan terhadap \(y\).

Hipotesis:

  • Hipotesis nol (H0): Semua koefisien regresi \(\beta_j\) sama dengan nol. \[ H_0: \beta_1 = \beta_2 = \cdots = \beta_p = 0 \]

  • Hipotesis alternatif (H1): Minimal ada satu koefisien regresi \(\beta_j\) yang tidak sama dengan nol. \[ H_1: \exists \, \beta_j \neq 0 \quad \text{untuk minimal satu } j \]

Langkah-langkah:

  1. Model Regresi Linier Penuh: Bentuk umum model regresi linier dapat ditulis sebagai: \[ y_i = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \cdots + \beta_p x_{ip} + \epsilon_i \] Dimana \(y_i\) adalah variabel respon, \(x_{ij}\) adalah variabel independen, \(\beta_j\) adalah koefisien regresi, dan \(\epsilon_i\) adalah galat acak.

  2. Pendugaan Parameter: Parameter \(\beta\) diduga menggunakan metode Least Squares, sehingga diperoleh penduga: \[ \hat{\beta} = (X'X)^{-1}X'y \] Dimana \(X\) adalah matriks desain dan \(y\) adalah vektor respon.

  3. Analisis Varians (ANOVA): Uji kecukupan model dilakukan dengan menggunakan analisis varians (ANOVA), dimana kita membandingkan Jumlah Kuadrat Regresi (JKReg) dengan Jumlah Kuadrat Residu (JKRes). \[ F = \frac{\text{JKReg} / \text{df}_1}{\text{JKRes} / \text{df}_2} \] Dimana:

    • \(\text{df}_1 = p\) adalah derajat bebas untuk JKReg.
    • \(\text{df}_2 = n - p - 1\) adalah derajat bebas untuk JKRes.

  4. Keputusan: Jika nilai F yang diperoleh lebih besar dari nilai kritis pada tabel F untuk tingkat signifikansi tertentu (\(\alpha\)), maka kita menolak \(H_0\) dan menyimpulkan bahwa model regresi layak digunakan.

Implementasi R:

# Membuat data contoh
set.seed(123) 
n <- 100  # Jumlah observasi

# Variabel prediktor
x1 <- rnorm(n, mean = 50, sd = 10)
x2 <- rnorm(n, mean = 30, sd = 5)
x3 <- rnorm(n, mean = 20, sd = 3)

# Variabel respon (y) dengan hubungan linier
y <- 5 + 1.5 * x1 - 2 * x2 + 3 * x3 + rnorm(n, mean = 0, sd = 10)

# Menggabungkan variabel menjadi sebuah data frame
data <- data.frame(y = y, x1 = x1, x2 = x2, x3 = x3)

# Melihat ringkasan dari data
summary(data)
##        y                x1              x2              x3       
##  Min.   : 36.86   Min.   :26.91   Min.   :19.73   Min.   :14.73  
##  1st Qu.: 68.01   1st Qu.:45.06   1st Qu.:25.99   1st Qu.:18.41  
##  Median : 84.09   Median :50.62   Median :28.87   Median :20.11  
##  Mean   : 83.15   Mean   :50.90   Mean   :29.46   Mean   :20.36  
##  3rd Qu.: 96.92   3rd Qu.:56.92   3rd Qu.:32.34   3rd Qu.:22.29  
##  Max.   :125.91   Max.   :71.87   Max.   :46.21   Max.   :26.88
# Membuat model regresi linier penuh dengan semua variabel prediktor dalam data
model_full <- lm(y ~ ., data = data)

# Melakukan uji ANOVA untuk menguji kecukupan model
anova_results <- anova(model_full)

# Melihat hasil uji ANOVA
print(anova_results)
## Analysis of Variance Table
## 
## Response: y
##           Df  Sum Sq Mean Sq F value    Pr(>F)    
## x1         1 15739.7 15739.7 142.353 < 2.2e-16 ***
## x2         1  8050.8  8050.8  72.814 2.090e-13 ***
## x3         1  6232.5  6232.5  56.368 3.079e-11 ***
## Residuals 96 10614.5   110.6                      
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Pengujian Hipotesis Subset Parameter

Tujuan: Pengujian hipotesis subset parameter bertujuan untuk mengetahui apakah subset tertentu dari parameter (koefisien regresi) dalam model regresi linier berpengaruh signifikan terhadap variabel respon \(y\). Ini berguna ketika kita ingin menguji efek dari beberapa variabel independen tertentu sambil mengendalikan variabel independen lainnya.

Hipotesis:

  • Hipotesis nol (H0): Subset parameter \(\gamma\) sama dengan nol. \[ H_0: \gamma = 0 \]

  • Hipotesis alternatif (H1): Subset parameter \(\gamma\) tidak sama dengan nol. \[ H_1: \gamma \neq 0 \]

Langkah-langkah:

  1. Model Tereduksi: Bentuk model tereduksi adalah model yang tidak memasukkan subset parameter yang ingin diuji: \[ y_i = \beta_0 + \beta_{r+1} x_{i,r+1} + \cdots + \beta_p x_{ip} + \epsilon_i \]

  2. Analisis Varians (ANOVA): Perbedaan antara model penuh dan model tereduksi diuji dengan analisis varians: \[ F = \frac{(\text{JKReg}_{\text{penuh}} - \text{JKReg}_{\text{tereduksi}}) / r}{\text{JKRes}_{\text{penuh}} / \text{df}_2} \] Dimana \(r\) adalah jumlah parameter yang dihilangkan dalam model tereduksi.

  3. Keputusan: Jika nilai F yang diperoleh lebih besar dari nilai kritis pada tabel F untuk tingkat signifikansi tertentu (\(\alpha\)), maka kita menolak \(H_0\) dan menyimpulkan bahwa subset parameter tersebut berpengaruh signifikan terhadap variabel respon.

Implementasi R:

# Membuat model regresi tereduksi (tanpa parameter subset)
model_reduced <- lm(y ~ x1 + x3, data = data)

# Melakukan uji ANOVA untuk membandingkan model penuh dan tereduksi
anova(model_reduced, model_full)
## Analysis of Variance Table
## 
## Model 1: y ~ x1 + x3
## Model 2: y ~ x1 + x2 + x3
##   Res.Df   RSS Df Sum of Sq      F    Pr(>F)    
## 1     97 19010                                  
## 2     96 10614  1    8395.5 75.931 8.585e-14 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Kesimpulan

  • Pengujian Kecukupan Model: Digunakan untuk menilai apakah model regresi yang dibangun cukup baik dalam menjelaskan variabilitas data respon.
  • Pengujian Hipotesis Subset Parameter: Digunakan untuk menguji apakah subset parameter tertentu dalam model regresi berpengaruh signifikan setelah memperhitungkan variabel lain dalam model.

Kedua pengujian ini penting untuk memastikan bahwa model yang dibangun tidak hanya sesuai secara statistik tetapi juga memiliki interpretasi yang relevan dalam konteks penelitian yang dilakukan.

Contoh Soal

Soal 1

Dalam industri, informasi yang berguna sering kali diperoleh dari tes “dipercepat.” Dalam tes semacam itu, produk yang sedang dipelajari ditempatkan dalam waktu singkat pada kondisi yang mirip dengan yang akan ditemui di lingkungan kerja. Sebuah studi dirancang untuk menyelidiki kemampuan memprediksi tingkat keretakan cat lateks di lingkungan alami berdasarkan tes dipercepat dari cat tersebut di laboratorium. Dua variabel yang digunakan adalah y, yaitu tingkat keretakan di lapangan, dan x, yaitu tingkat keretakan dipercepat yang diperoleh di laboratorium. Masing-masing tingkat ini tidak negatif. Model regresi linear sederhana diasumsikan, dan data berikut diperoleh:

Data:

x  | y
-------
2  | 1.9
3  | 2.7
4  | 4.2
5  | 4.8
6  | 4.8
7  | 5.1

Model Regresi:

\(Y_i = \beta_0 + \beta_1 x_i + \epsilon_i\), di mana \(i = 1, 2, 3, ... , 6\).

Hipotesis:

\(H_0 : \beta = 0\) ; model tidak valid

\(H_1 : \beta \neq 0\) ; model valid

α = 0,05

Statistik Uji:

\(X = \begin{pmatrix} 2 \\ 3 \\ 4 \\ 5 \\ 6 \\ 7 \end{pmatrix}\)

\(Y = \begin{pmatrix} 1,9 \\ 2,7 \\ 4,2 \\ 4,8 \\ 4,8 \\ 5,1 \end{pmatrix}\)

\[ \mathbf{X'X} = \begin{bmatrix} 1 & 1 & 1 & 1 & 1 & 1 \\ 2 & 3 & 4 & 5 & 6 & 7 \end{bmatrix} \cdot \begin{bmatrix} 1 & 2 \\ 1 & 3 \\ 1 & 4 \\ 1 & 5 \\ 1 & 6 \\ 1 & 7 \end{bmatrix} = \begin{bmatrix} 6 & 27 \\ 27 & 139 \end{bmatrix} \]

\[ (\mathbf{X'X})^{-1} = \frac{1}{105} \begin{bmatrix} 139 & -27 \\ -27 & 6 \end{bmatrix} = \begin{bmatrix} 1,32 & -0,26 \\ -0,26 & 0,06 \end{bmatrix} \]

\[ \mathbf{Y'X} = \begin{bmatrix} 1,9 & 2,7 & 4,2 & 4,8 & 4,8 & 5,1 \end{bmatrix} \cdot \begin{bmatrix} 1 & 2 \\ 1 & 3 \\ 1 & 4 \\ 1 & 5 \\ 1 & 6 \\ 1 & 7 \end{bmatrix} = \begin{bmatrix} 23,5 & 117,2 \end{bmatrix} \]

\[ \mathbf{X'Y} = \begin{bmatrix} 1 & 1 & 1 & 1 & 1 & 1 \\ 2 & 3 & 4 & 5 & 6 & 7 \end{bmatrix} \cdot \begin{bmatrix} 1,9 \\ 2,7 \\ 4,2 \\ 4,8 \\ 4,8 \\ 5,1 \end{bmatrix} = \begin{bmatrix} 23,5 \\ 117,2 \end{bmatrix} \]

\[ \text{JKT} = \mathbf{Y'Y} = \begin{bmatrix} 1,9 & 2,7 & 4,2 & 4,8 & 4,8 & 5,1 \end{bmatrix} \cdot \begin{bmatrix} 1,9 \\ 2,7 \\ 4,2 \\ 4,8 \\ 4,8 \\ 5,1 \end{bmatrix} = 100,63 \]

\[ \text{JKR} = \mathbf{Y'X} \cdot (\mathbf{X'X})^{-1} \cdot \mathbf{X'Y} = \begin{bmatrix} 23,5 & 117,2 \end{bmatrix} \cdot \begin{bmatrix} 1,32 & -0,26 \\ -0,26 & 0,06 \end{bmatrix} \cdot \begin{bmatrix} 23,5 \\ 117,2 \end{bmatrix} = 99,5532 \]

\[ \text{JKE} = \text{JKT} - \text{JKR} = 100,63 - 99,553324 = 1,096762 \]

\[ \text{KTR} = \frac{\text{JKR}}{p} = \frac{99,553324}{2} = 49,76662 \]

\[ \text{KTE} = \frac{\text{JKE}}{n-p} = \frac{1,096762}{6-2} = 0,27419 \]

\[ F = \frac{\text{KTR}}{\text{KTE}} = \frac{49,76662}{0,27419} = 181,5038 \]

Kriteria Uji:

Tolak H₀ jika Fhitung > Fα;2;4.

Karena Fhitung = 181,5038 > F0,05;2;4 = 19,25, maka Tolak H₀.

Kesimpulan:

Model valid dan dapat digunakan pada taraf arti 5%.

Soal 2

Sebuah sistem pemrosesan data terdiri dari tiga elemen struktural dasar: file (x1), aliran data (x2), dan proses (x3). File adalah catatan permanen, aliran data adalah antarmuka data, dan proses adalah manipulasi logis data yang didefinisikan secara fungsional. Sebuah penyelidikan tentang biaya pengembangan perangkat lunak dilaporkan dalam “A Software Matrix for Cost Estimation and Efficiency Measurement in Data Processing System Development,” Journal of Systems Software 3, 1983. Data berikut didasarkan pada studi tersebut:

\[ X = \begin{bmatrix} 4 & 44 & 18 & 1 \\ 2 & 33 & 15 & 1 \\ 20 & 80 & 80 & 1 \\ 6 & 24 & 21 & 1 \\ 6 & 227 & 50 & 1 \\ 3 & 20 & 18 & 1 \\ 4 & 41 & 13 & 1 \\ 16 & 187 & 137 & 1 \\ 4 & 19 & 15 & 1 \\ 6 & 50 & 21 & 1 \\ 5 & 48 & 17 & 1 \end{bmatrix} \rightarrow \mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \]

\[ \beta = \begin{bmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \\ \beta_3 \end{bmatrix} \rightarrow \mathbf{\beta} = \begin{bmatrix} \beta_1 \\ \beta_2 \end{bmatrix} \]

\[ y = \begin{bmatrix} 22,6 \\ 15 \\ 70,1 \\ 20 \\ 80,5 \\ 24,5 \\ 20,5 \\ 147,6 \\ 4,2 \\ 40,2 \\ 20,5 \end{bmatrix} \]

Hipotesis:

  • \(H_0: \gamma_1 = 0\) (Model reduce memadai)
  • \(H_1: \gamma_1 \neq 0\) (Model lengkap lebih memadai)

Tingkat Signifikansi: \(\alpha = 0.05\)

Statistik Uji:

Model: \(y = \beta x + \epsilon\)

JKR (Model Lengkap):

\(JKR = y' X (X' X)^{-1} X' y\)


\[\begin{aligned} = \begin{bmatrix} 489.7 & 5259 & 59008.4 & 33845.2 \end{bmatrix} \times \begin{bmatrix} 11 & 76 & 773 & 405 \\ 76 & 850 & 7180 & 4697 \\ 773 & 7180 & 105745 & 48204 \\ 405 & 4697 & 48204 & 30107 \end{bmatrix} \times \begin{bmatrix} 489.7 \\ 5259 \\ 59088.4 \\ 33845.2 \end{bmatrix} = 38978.38381 \end{aligned}\]


JKT (Model Lengkap):
\(y' y = 39667.01\)

JKR (Model Reduce):

\(R(\gamma_2) = y' X_2 (X_2' X_2)^{-1} X_2' y = \frac{(Σy)^2}{n}\) \[ = \frac{(22.6 + 15 + \dots + 20.5)^2}{11} = 21800.55364 \]

Pengaruh \(\gamma_1\) di dalam kehadiran \(\gamma_2\):

\[ R(Y_1 | Y_2) = R(\beta) - R(\gamma_2) = JKR_{\text{full}} - JKR_{\text{reduce}} = 17177.83018 \]

JKE:

\[ JKE = JKT - JKR_{\text{full}} = 39667.01 - 38978.38381 = 688.6261873 \]

Sumber Variasi:

Sumber Variasi df JK KT F
Regresi
Full Model 4 38978.38381 9744.595953 99.05544
Reduce 1 21800.55364 21800.55364 221.6063
\(\gamma_1\)setelah \(\gamma_2\) 3 17177.83018 5725.943392 58.20517
Residu 7 688.62619 98.37516961
Total 11 39667.01

Kriteria Uji:
Tolak \(H_0\) jika \(F_{\text{hitung}} > F_{\text{tabel}}\).

Karena \(F_{\text{hitung}} = 58.20517 > F_{\text{tabel}}(0.05; 3; 37) = 4.35\), maka tolak \(H_0\).

Kesimpulan:
Berdasarkan hasil pengujian, \(H_0\) ditolak. Model lengkap lebih memadai pada tingkat signifikansi \(\alpha = 0.05\).

Latihan Soal

Soal 1

Dalam industri farmasi, prediksi stabilitas obat sangat penting untuk menentukan umur simpan. Sebuah studi dilakukan untuk memprediksi stabilitas obat dalam kondisi penyimpanan normal berdasarkan tes percepatan di laboratorium. Dua variabel yang digunakan adalah y, yaitu tingkat degradasi obat dalam kondisi penyimpanan normal, dan x, yaitu tingkat degradasi obat dari tes percepatan di laboratorium. Model regresi linear sederhana diasumsikan dan data berikut diperoleh:

x y
2 1,5
3 2,1
4 3,0
5 4,2
6 5,0
7 6,2

Uji hipotesis bahwa H₀: β = 0 versus H₁: β ≠ 0 pada tingkat signifikansi 0,05.

Soal 2

Dalam penelitian pertanian, kemampuan tanaman untuk bertahan dalam kondisi kekeringan sangat penting untuk pengembangan varietas unggul. Sebuah studi dilakukan untuk memprediksi pertumbuhan tanaman di lapangan berdasarkan tes kekeringan di rumah kaca. Dua variabel yang digunakan adalah y, yaitu laju pertumbuhan tanaman di lapangan, dan x, yaitu laju pertumbuhan tanaman dari tes kekeringan di rumah kaca. Model regresi linear sederhana diasumsikan dan data berikut diperoleh:

x y
1 0,8
2 1,3
3 2,1
4 2,9
5 3,6
6 4,5

Uji hipotesis bahwa H₀: β = 0 versus H₁: β ≠ 0 pada tingkat signifikansi 0,05.

Soal 3

Dalam penelitian energi terbarukan, memprediksi keluaran energi dari panel surya di lapangan berdasarkan pengujian di laboratorium sangat penting untuk perencanaan. Sebuah studi dilakukan untuk memprediksi keluaran energi di lapangan berdasarkan tes di laboratorium. Dua variabel yang digunakan adalah y, yaitu keluaran energi di lapangan (dalam kWh), dan x, yaitu keluaran energi dari pengujian laboratorium (dalam kWh). Model regresi linear sederhana diasumsikan dan data berikut diperoleh:

x y
10 9,5
12 11,0
15 13,8
18 17,0
20 19,5
25 24,8

Uji hipotesis bahwa H₀: β = 0 versus H₁: β ≠ 0 pada tingkat signifikansi 0,05.

Soal 4

Dalam penelitian otomotif, estimasi konsumsi bahan bakar di jalan raya berdasarkan pengujian di laboratorium sangat penting untuk pengembangan kendaraan hemat energi. Sebuah studi dilakukan untuk memprediksi konsumsi bahan bakar di jalan raya berdasarkan pengujian di laboratorium. Dua variabel yang digunakan adalah y, yaitu konsumsi bahan bakar di jalan raya (dalam km/l), dan x, yaitu konsumsi bahan bakar dari pengujian laboratorium (dalam km/l). Model regresi linear sederhana diasumsikan dan data berikut diperoleh:

x y
12 11,2
14 13,1
16 15,0
18 17,3
20 19,6
22 21,0

Uji hipotesis bahwa H₀: β = 0 versus H₁: β ≠ 0 pada tingkat signifikansi 0,05.

Soal 5

Dalam penelitian lingkungan, memprediksi kualitas udara di daerah perkotaan berdasarkan pengukuran di laboratorium sangat penting untuk pengendalian polusi. Sebuah studi dilakukan untuk memprediksi tingkat polusi udara di perkotaan berdasarkan pengujian di laboratorium. Dua variabel yang digunakan adalah y, yaitu tingkat polusi di lapangan (dalam satuan tertentu), dan x, yaitu tingkat polusi dari pengujian laboratorium (dalam satuan yang sama). Model regresi linear sederhana diasumsikan dan data berikut diperoleh:

x y
30 28,0
35 32,5
40 38,0
45 43,7
50 49,0
55 54,5

Uji hipotesis bahwa H₀: β = 0 versus H₁: β ≠ 0 pada tingkat signifikansi 0,05.

Soal 6: Biaya Pemasangan Jaringan Komputer

Sistem jaringan komputer terdiri dari tiga elemen struktural dasar: jumlah perangkat (x₁), panjang kabel (x₂), dan jumlah titik sambungan (x₃). Penelitian tentang biaya pemasangan jaringan komputer dilakukan berdasarkan data berikut:

Biaya (dalam ribuan) (y) Perangkat (x₁) Panjang Kabel (x₂) Titik Sambungan (x₃)
35.0 5 50 10
22.0 3 30 8
95.5 15 150 25
45.2 8 75 12
120.3 10 200 30

Pertanyaan: Buatlah ANOVA dan Ujilah Hipotesis

Soal 7: Biaya Produksi Film

Produksi film melibatkan beberapa elemen dasar: jumlah aktor utama (x₁), jumlah adegan (x₂), dan jumlah kru (x₃). Penelitian tentang biaya produksi film dilakukan dengan menggunakan data berikut:

Biaya (dalam ribuan) (y) Aktor Utama (x₁) Adegan (x₂) Kru (x₃)
150.0 3 40 50
95.0 2 30 40
230.0 5 60 70
180.0 4 50 60
300.0 6 70 90

Pertanyaan: Buatlah ANOVA dan Ujilah Hipotesis

Soal 8: Biaya Pengembangan Game

Pengembangan game terdiri dari tiga elemen penting: jumlah level (x₁), jumlah karakter (x₂), dan fitur tambahan (x₃). Data berikut menggambarkan biaya pengembangan game berdasarkan elemen-elemen tersebut:

Biaya (dalam ribuan) (y) Level (x₁) Karakter (x₂) Fitur Tambahan (x₃)
300.0 10 50 25
200.0 7 30 15
450.0 15 80 40
350.0 12 60 30
500.0 18 100 50

Pertanyaan: Buatlah ANOVA dan Ujilah Hipotesis

Soal 9: Biaya Pembangunan Gedung

Proses pembangunan gedung terdiri dari tiga komponen utama: jumlah lantai (x₁), luas total bangunan (x₂), dan jumlah pekerja (x₃). Studi mengenai biaya pembangunan gedung dilakukan dengan data sebagai berikut:

Biaya (dalam ribuan) (y) Lantai (x₁) Luas Bangunan (x₂) Pekerja (x₃)
500.0 5 200 50
350.0 4 150 40
750.0 7 300 70
600.0 6 250 60
900.0 8 350 80

Pertanyaan: Buatlah ANOVA dan Ujilah Hipotesis

Soal 10: Biaya Instalasi Energi Surya

Instalasi energi surya mencakup tiga elemen utama: jumlah panel surya (x₁), daya yang dihasilkan (x₂), dan jumlah baterai penyimpanan (x₃). Data berikut menunjukkan biaya instalasi energi surya:

Biaya (dalam ribuan) (y) Panel Surya (x₁) Daya (kW) (x₂) Baterai (x₃)
85.0 10 5.0 4
65.0 8 4.0 3
120.0 15 7.0 6
100.0 12 6.0 5
150.0 18 8.0 7

Pertanyaan: Buatlah ANOVA dan Ujilah Hipotesis