1 ANALISIS REGRESI DENGAN PENDEKATAN MATRIKS

1.1 Pendahuluan

Analisis regresi merupakan metode statistika yang memanfaatkan hubungan antara dua atau lebih peubah sehingga salah satu peubah dapat diramalkan dari peubah lainnya. Peubah tersebut dibedakan menjadi dua yaitu peubah bebas (X) dan peubah tak bebas (Y). Model regresi linear sederhana adalah model probabilistik yang menyatakan hubungan linear antara dua variabel di mana salah satu variabel dianggap mempengaruhi variabel yang lain. Variabel yang mempengaruhi dinamakan variabel independen dan variabel yang dipengaruhi dinamakan variabel dependen. Model probabilistik untuk regresi linear sederhana adalah sebagai berikut: \[ Y = \beta_0 + \beta_1 X \] Keterangan:

  • \(\beta_0\) = koefisien intercept
  • \(\beta_1\) = koefisien slope
Parameter intercept \(\beta_0\), dan slope \(\beta_1\), disebut dengan koefisien regresi. Slope \(\beta_1\) adalah perubahan rata-rata distribusi \(y\) yang dihasilkan oleh setiap perubahan satu satuan variabel prediktor \(x\). Parameter \(\beta_0\) dan \(\beta_1\) dalam persamaan regresi tidak diketahui sehingga harus ditaksir dengan menggunakan data sampel. Parameter \(\beta_0\) dan \(\beta_1\) dapat ditaksir dengan menggunakan metode kuadrat terkecil. Dalam hal ini, akan ditaksir \(\beta_0\), dan \(\beta_1\), sedemikian sehingga jumlah kuadrat selisih antara y, dengan garis lurus regresi menjadi minimum. Regresi linear berganda adalah persamaan regresi yang menggambarkan hubungan antara lebih dari satu peubah bebas \((X)\) dan satu peubah tak bebas \((Y)\). Hubungan peubah-peubah tersebut dapat dituliskan dalam bentuk persamaan sebagai berikut: \[ Y_i = \beta_0 + \beta_1 X_{1i} + \beta_2 X_{2i} + \dots + \beta_p X_{pi} + \varepsilon_i \] Koefisien \(\beta\) dapat diduga dengan menyusun data ke dalam bentuk matriks augmented. Jika terdapat n observasi dan p variabel bebas, maka menunjukkan nilai peubah bebas pada observasi kedua. Dari data dapat dibuat persamaan yang dapat disusun menjadi n persamaan sebagai berikut:

(Novianti, 2024).

\[ Y_{1} = \beta_{0} + \beta_{1} X_{11} + \beta_{2} X_{12} + \cdots + \beta_{p} X_{1p} + \varepsilon_{1} \]

\[ Y_{2} = \beta_{0} + \beta_{1} X_{21} + \beta_{2} X_{22} + \cdots + \beta_{p} X_{2p} + \varepsilon_{2} \]

\[ \vdots \]

\[ Y_{n} = \beta_{0} + \beta_{1} X_{n1} + \beta_{2} X_{n2} + \cdots + \beta_{p} X_{np} + \varepsilon_{n} \]

Parameter \(\beta\) dapat diduga dengan komputasi matriks berikut:

\[ \hat{\beta} = (X^{T}X)^{-1} X^{T}Y \]

1.2 Analisis Varian dalam Pendekatan Matriks

Proses selanjutnya setelah melakukan pendugaan parameter model regresi sederhana adalah pengujian terhadap model regresi apakah signifikan atau tidak, yang dapat dilakukan dengan dua cara yaitu ANOVA dengan uji F dan uji parsial dengan uji t. Hipotesis yang harus diuji dalam analisis regresi ganda adalah \[ H_0 : \beta_1 = \beta_2 = \cdots = \beta_{p-1} = 0 \]

\[ H_1 : \text{paling tidak ada } 1 \ \beta_k \neq 0,\quad k = 1,2,3 \] Tabel 2.1 Tabel ANOVA

Sumber Keragaman (SK) Jumlah Kuadrat (JK) Derajat Bebas (db) Kuadrat Tengah (KT) F hitung
Regresi \(b'(X'y) - n\bar{y}\) \(p\) \(\frac{JKR}{DBR}\) \(\frac{KTR}{KTG}\)
Galat \(y'y - b'(X'y)\) \(n - p - 1\) \(\frac{JKG}{DBG}\)
Total \(y'y - n\bar{y}\) \(n - 1\)
\[H_0 \text{ ditolak jika } F_{hitung} > F_{tabel}\text{, yang berarti terdapat variabel } X_i \text{ yang memiliki hubungan dengan } Y\]

(Novianti, 2024).

Tujuan metode kuadrat terkecil adalah menemukan nilai dugaan \(\beta_0\) dan \(\beta_1\) yang menghasilkan jumlah kesalahan kuadrat minimum. Nilai dugaan itu akan menghasilkan fungsi regresi linier yang baik. Pada penduga kuadrat terkecil, penduga \(\beta_0\) dan \(\beta_1\) yang memenuhi kriteria kuadrat terkecil dapat ditemukan dalam dua cara yaitu dengan suatu prosedur pencarian numerik dan menemukan nilai-nilai \(\beta_0\) dan \(\beta_1\) secara analitis yang meminimumkan jumlah kesalahan kuadrat \((\sum e^2)\)

(Basuki, 2019).

1.3 Analisis Data

Analisis data merupakan proses mengolah data menjadi informasi yang lebih mudah dipahami dan bermanfaat sebagai solusi permasalahan. Langkah-langkah yang dilakukan untuk menganalisis data adalah sebagai berikut:

  1. Mengambil data yang akan digunakan dari sumber.

  2. Menentukan variabel dependent dan variabel independen.

  3. Identifikasi dan membuat model regresi dari data yang telah didapat.

    Model umum regresi linier berganda adalah:

    \[\hat{Y}_i = \hat{\beta}_0 + \hat{\beta}_1 X_{1i} + \hat{\beta}_2 X_{2i} + \hat{\beta}_3 X_{3i} + \ldots + \hat{\beta}_{p-1}X_{i,p-1} + \hat{\varepsilon}_i\]

  4. Menentukan pendugaan parameter model.

  5. Menentukan hipotesis pengujian.

    Hipotesis secara simultan:

\[ H_1 : \text{Paling tidak ada satu } \beta_k \neq 0,\quad k=1,2,3,\ldots \]

  1. Menentukan taraf signifikansi yang dibutuhkan, biasanya:

    \[ \alpha = 5\% \]

  2. Menentukan statistik uji.

    Statistik uji ANOVA:

    \[ F_{\text{hitung}} = \frac{KT_{\text{Regresi}}}{KT_{\text{Galat}}} \]

  3. Menentukan kriteria penolakan.

    \[ \text{Tolak } H_0 \text{ jika } F_{\text{hitung}} > F_{\text{tabel}} \] atau
    \[ P\text{-value} < \alpha \]

    Terima \(H_0\) jika kebalikannya terpenuhi.

  4. Membuat kesimpulan berdasarkan hasil perhitungan.