Estimasi Parameter Secara Manual (OLS)

# Matriks X dan Y
X <- cbind(1, data$IQ, data$kehadiran)
Y <- data$nilai_uas

# Estimasi beta
beta_manual <- solve(t(X) %*% X) %*% t(X) %*% Y
beta_manual

##            [,1]
## [1,] 23.0544545
## [2,] -0.0343275
## [3,]  0.7372330

Koefisien regresi dihitung menggunakan metode Ordinary Least Squares (OLS) dengan rumus β = (X’X)^(-1) X’Y. Berdasarkan hasil perhitungan, diperoleh persamaan regresi yaitu nilai UAS = 23.0545 − 0.0343(IQ) + 0.7372(kehadiran). Nilai intercept sebesar 23.0545 menunjukkan nilai dasar UAS ketika IQ dan kehadiran bernilai nol. Koefisien IQ sebesar −0.0343 menunjukkan bahwa setiap kenaikan 1 poin IQ cenderung menurunkan nilai UAS sebesar 0.034, namun pengaruh ini sangat kecil dan bersifat negatif. Sementara itu, koefisien kehadiran sebesar 0.7372 menunjukkan bahwa setiap kenaikan 1 persen kehadiran akan meningkatkan nilai UAS sebesar 0.737, sehingga dapat dikatakan bahwa kehadiran memiliki pengaruh yang lebih besar dan bersifat positif terhadap nilai UAS dibandingkan dengan IQ.

Menggunakan Fungsi lm()

model <- lm(nilai_uas ~ IQ + kehadiran, data = data)
summary(model)

## 
## Call:
## lm(formula = nilai_uas ~ IQ + kehadiran, data = data)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -5.2861 -2.8939  0.0296  1.6791  6.1993 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 23.05445   25.57161   0.902 0.397247    
## IQ          -0.03433    0.22051  -0.156 0.880686    
## kehadiran    0.73723    0.10918   6.752 0.000264 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 4.346 on 7 degrees of freedom
## Multiple R-squared:  0.8719, Adjusted R-squared:  0.8353 
## F-statistic: 23.82 on 2 and 7 DF,  p-value: 0.0007523

Output summary(model) menunjukkan beberapa informasi penting terkait kualitas model regresi yang dibangun. Nilai residual menggambarkan selisih antara nilai aktual dan nilai prediksi, di mana nilai median yang mendekati nol menunjukkan bahwa model sudah cukup baik dalam memprediksi data.

Pada bagian koefisien, nilai intercept sebesar 23.05445 menunjukkan nilai UAS ketika IQ dan kehadiran bernilai nol. Koefisien IQ sebesar −0.03433 dengan p-value 0.880686 menunjukkan bahwa IQ memiliki pengaruh negatif yang sangat kecil dan tidak signifikan terhadap nilai UAS karena p-value lebih besar dari 0.05. Sebaliknya, variabel kehadiran memiliki koefisien sebesar 0.73723 dengan p-value 0.000264, yang berarti berpengaruh positif dan signifikan terhadap nilai UAS.

Nilai Residual Standard Error sebesar 4.346 menunjukkan bahwa rata-rata kesalahan prediksi model berada pada kisaran 4.346 poin nilai UAS. Nilai R-squared sebesar 0.8719 menunjukkan bahwa 87.19% variasi nilai UAS dapat dijelaskan oleh variabel IQ dan kehadiran dalam model. Nilai Adjusted R-squared sebesar 0.8353 yang tetap tinggi menunjukkan bahwa model masih baik meskipun telah disesuaikan dengan jumlah variabel.

Selain itu, hasil uji F menghasilkan p-value sebesar 0.0007523 yang lebih kecil dari 0.05, sehingga dapat disimpulkan bahwa model regresi signifikan secara keseluruhan. Hal ini berarti variabel dalam model secara bersama-sama berpengaruh terhadap nilai UAS. Secara umum, dapat disimpulkan bahwa kehadiran berpengaruh signifikan terhadap nilai UAS, sedangkan IQ tidak berpengaruh signifikan, dan model memiliki kemampuan yang baik dalam menjelaskan variasi nilai UAS.

Perbandingan Manual (OLS) vs lm()

# Koefisien dari lm()
coef(model)

## (Intercept)          IQ   kehadiran 
##  23.0544545  -0.0343275   0.7372330

# Koefisien manual
beta_manual

##            [,1]
## [1,] 23.0544545
## [2,] -0.0343275
## [3,]  0.7372330

Hasil koefisien regresi yang diperoleh dari perhitungan manual menggunakan metode Ordinary Least Squares (OLS) dan dari fungsi lm() menunjukkan nilai yang sama, yaitu intercept sebesar 23.0544545, koefisien IQ sebesar −0.0343275, dan koefisien kehadiran sebesar 0.7372330. Kesamaan hasil ini menunjukkan bahwa perhitungan manual yang dilakukan telah benar dan sesuai dengan metode yang digunakan oleh fungsi lm(). Dengan demikian, dapat disimpulkan bahwa tidak terdapat perbedaan antara kedua metode tersebut dan model yang dihasilkan bersifat konsisten serta valid untuk digunakan dalam analisis.

Uji F(Simultan)

anova(model)

## Analysis of Variance Table
## 
## Response: nilai_uas
##           Df Sum Sq Mean Sq F value    Pr(>F)    
## IQ         1  38.72   38.72  2.0502 0.1952857    
## kehadiran  1 861.17  861.17 45.5959 0.0002644 ***
## Residuals  7 132.21   18.89                      
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Output ANOVA menunjukkan bahwa variabel IQ memiliki p-value sebesar 0.1953 yang lebih besar dari 0.05, sehingga tidak berpengaruh signifikan terhadap nilai UAS. Sebaliknya, variabel kehadiran memiliki p-value sebesar 0.0002644 yang lebih kecil dari 0.05, sehingga berpengaruh signifikan terhadap nilai UAS. Sementara itu, bagian residual menunjukkan sisa variasi nilai UAS yang tidak dapat dijelaskan oleh model regresi.

Uji F digunakan untuk mengetahui apakah variabel bebas secara bersama-sama berpengaruh terhadap variabel terikat. Berdasarkan hasil yang diperoleh, nilai F sebesar 45.5959 dengan p-value yang sangat kecil, yaitu kurang dari 0.05, menunjukkan bahwa model regresi signifikan secara simultan. Hal ini berarti variabel IQ dan kehadiran secara bersama-sama memiliki pengaruh terhadap nilai UAS.

Dengan demikian, dapat disimpulkan bahwa secara simultan variabel dalam model berpengaruh terhadap nilai UAS, namun secara parsial hanya variabel kehadiran yang memiliki pengaruh signifikan, sedangkan IQ tidak berpengaruh signifikan.

Uji t (parsial)

summary(model)$coefficients

##               Estimate Std. Error    t value     Pr(>|t|)
## (Intercept) 23.0544545 25.5716101  0.9015644 0.3972467061
## IQ          -0.0343275  0.2205125 -0.1556715 0.8806860631
## kehadiran    0.7372330  0.1091797  6.7524718 0.0002644133

Output uji t menunjukkan bahwa nilai intercept memiliki p-value sebesar 0.3972 yang lebih besar dari 0.05, sehingga tidak signifikan dan tidak perlu diinterpretasikan lebih lanjut. Variabel IQ memiliki p-value sebesar 0.8807 yang juga lebih besar dari 0.05, sehingga tidak berpengaruh signifikan terhadap nilai UAS. Sebaliknya, variabel kehadiran memiliki p-value sebesar 0.000264 yang lebih kecil dari 0.05, sehingga berpengaruh signifikan terhadap nilai UAS.

Uji t digunakan untuk mengetahui pengaruh masing-masing variabel independen secara parsial terhadap variabel dependen. Berdasarkan hasil yang diperoleh, dapat disimpulkan bahwa hanya variabel kehadiran yang memiliki pengaruh signifikan terhadap nilai UAS, sedangkan variabel IQ tidak berpengaruh signifikan.

Koefisien Determinasi (R²)

summary(model)$r.squared

## [1] 0.8719029

Nilai koefisien determinasi (R²) sebesar 0.8719 menunjukkan bahwa 87.19% variasi nilai UAS dapat dijelaskan oleh variabel IQ dan kehadiran yang terdapat dalam model regresi. Sementara itu, sebesar 12.81% variasi nilai UAS dipengaruhi oleh faktor lain di luar model yang tidak diteliti. Dengan demikian, dapat disimpulkan bahwa model regresi yang digunakan memiliki kemampuan yang baik dalam menjelaskan variasi nilai UAS.

a. Normalitas

shapiro.test(residuals(model))

## 
##  Shapiro-Wilk normality test
## 
## data:  residuals(model)
## W = 0.95125, p-value = 0.6833

hist(residuals(model))

qqnorm(residuals(model))
qqline(residuals(model))

Berdasarkan histogram residual, distribusi data terlihat mendekati normal meskipun tidak sepenuhnya simetris. Hal ini diperkuat oleh grafik Q-Q plot yang menunjukkan bahwa sebagian besar titik mengikuti garis diagonal, sehingga dapat disimpulkan bahwa asumsi normalitas terpenuhi.

b. Heteroskedastisitas

plot(model$fitted.values, residuals(model))
abline(h = 0)

Selanjutnya, pada scatter plot antara residual dan nilai prediksi, terlihat bahwa titik-titik menyebar secara acak di sekitar garis nol dan tidak membentuk pola tertentu. Hal ini menunjukkan bahwa tidak terjadi heteroskedastisitas, sehingga asumsi homoskedastisitas terpenuhi.

c. Autokorelasi

library(lmtest)

## Warning: package 'lmtest' was built under R version 4.4.3

## Loading required package: zoo

## Warning: package 'zoo' was built under R version 4.4.3

## 
## Attaching package: 'zoo'

## The following objects are masked from 'package:base':
## 
##     as.Date, as.Date.numeric

dwtest(model)

## 
##  Durbin-Watson test
## 
## data:  model
## DW = 2.594, p-value = 0.8013
## alternative hypothesis: true autocorrelation is greater than 0

Berdasarkan hasil uji Durbin-Watson diperoleh nilai DW sebesar 2.594 dengan p-value sebesar 0.8013. Karena p-value lebih besar dari 0.05, maka tidak terdapat cukup bukti adanya autokorelasi pada model. Dengan demikian, dapat disimpulkan bahwa residual bersifat independen dan asumsi tidak adanya autokorelasi terpenuhi.

d. Multikolinieritas

library(car)

## Warning: package 'car' was built under R version 4.4.2

## Loading required package: carData

## Warning: package 'carData' was built under R version 4.4.2

vif(model)

##        IQ kehadiran 
##  1.055571  1.055571

Berdasarkan hasil uji multikolinieritas menggunakan Variance Inflation Factor (VIF), diperoleh nilai VIF untuk variabel IQ dan kehadiran masing-masing sebesar 1.0556. Karena nilai VIF berada di bawah 10 dan mendekati 1, maka dapat disimpulkan bahwa tidak terjadi multikolinieritas antar variabel bebas dalam model. Dengan demikian, model regresi memenuhi asumsi tidak adanya multikolinieritas