Analisis regresi linier berganda merupakan metode statistika yang digunakan untuk menjelaskan hubungan antara satu variabel dependen dengan dua atau lebih variabel independen. Metode ini memungkinkan pengaruh masing-masing variabel independen terhadap variabel dependen dianalisis secara parsial maupun simultan. Dalam praktikum ini, analisis dilakukan menggunakan data sekunder yang terdiri atas 38 observasi dengan satu variabel dependen (Y) dan tiga variabel independen (X1, X2, dan X3). Tahapan analisis meliputi eksplorasi data, statistik deskriptif, estimasi model regresi, pengujian asumsi klasik, pengujian hipotesis, serta identifikasi pengamatan berpengaruh dan outlier.
Analisis dibatasi pada data sekunder dalam berkas
DATA ANALISIS REGRESI SMT 3.xlsx, lembar
Sheet1, yang terdiri atas 38 observasi dan empat variabel,
yaitu Y sebagai variabel dependen serta X1, X2, dan X3 sebagai variabel
independen. Analisis menggunakan regresi linier berganda dengan metode
kuadrat terkecil (Ordinary Least Squares/OLS). Tahapan yang
dilakukan meliputi pemilihan dan pemeriksaan data, eksplorasi data,
statistik deskriptif, estimasi model, uji normalitas residual,
multikolinieritas, heteroskedastisitas, dan autokorelasi, uji F, uji t,
serta identifikasi pengamatan berpengaruh melalui Influence
Plot dan uji Bonferroni. Taraf signifikansi yang digunakan adalah
5%. Nama substantif variabel, satuan, tahun, dan unit observasi perlu
mengikuti keterangan pada sumber data asli karena lembar Excel yang
dianalisis hanya mencantumkan kode Y, X1, X2, dan X3.
Regresi linier berganda merupakan metode untuk memodelkan hubungan antara satu variabel dependen dan beberapa variabel independen. Model regresi yang digunakan dalam praktikum ini adalah:
\[ Y_i=\beta_0+\beta_1X_{1i}+\beta_2X_{2i}+\beta_3X_{3i}+\varepsilon_i \]
Keterangan: \(Y_i\) merupakan nilai variabel dependen pada pengamatan ke-i, \(\beta_0\) merupakan konstanta, \(\beta_1,\beta_2,\beta_3\) merupakan koefisien regresi, \(X_{1i},X_{2i},X_{3i}\) merupakan variabel independen, dan \(\varepsilon_i\) merupakan galat.
Estimasi parameter regresi dilakukan menggunakan metode kuadrat terkecil (OLS), yaitu dengan meminimumkan jumlah kuadrat residual. Residual merupakan selisih antara nilai aktual dan nilai prediksi model:
\[ e_i=Y_i-\hat{Y}_i \]
Pengujian asumsi klasik dilakukan untuk memeriksa beberapa karakteristik residual dan hubungan antarvariabel independen. Pemeriksaan dalam laporan ini meliputi normalitas residual, multikolinieritas, heteroskedastisitas, dan autokorelasi. Hasil setiap pengujian perlu ditafsirkan berdasarkan jenis data dan rancangan pengamatan.
Uji F digunakan untuk menguji signifikansi variabel independen secara simultan, sedangkan uji t digunakan untuk menguji signifikansi masing-masing koefisien regresi secara parsial. Keputusan pengujian dilakukan pada taraf signifikansi \(\alpha=0,05\).
Outlier merupakan pengamatan yang memiliki pola berbeda atau menyimpang dibandingkan sebagian besar pengamatan lainnya. Influence Plot digunakan untuk menampilkan hubungan antara studentized residual, leverage, dan ukuran pengaruh seperti Cook’s Distance. Uji Bonferroni digunakan untuk menguji apakah terdapat residual yang secara statistik ekstrem dengan mempertimbangkan pengujian berganda. Pengamatan yang terlihat menonjol pada plot tidak otomatis dinyatakan sebagai outlier; hasilnya perlu ditinjau bersama uji Bonferroni dan konteks data.
Taraf signifikansi yang digunakan adalah \(\alpha=0,05\), dengan ketentuan: - Jika p-value < 0,05, maka \(H_0\) ditolak. - Jika p-value \(\geq 0,05\), maka \(H_0\) gagal ditolak.
Data yang digunakan merupakan data kuantitatif sekunder yang diambil
dari berkas Excel DATA ANALISIS REGRESI SMT 3.xlsx,
khususnya lembar Sheet1. Data berjumlah 38 observasi dan
memuat empat variabel berkode Y, X1, X2, dan X3. Keterangan mengenai
sumber awal, tahun, satuan, dan unit observasi mengikuti dokumen asal
pengumpulan data.
| Variabel | Peran | Keterangan dalam berkas |
|---|---|---|
| Y | Dependen | Variabel Y |
| X1 | Independen | Variabel X1 |
| X2 | Independen | Variabel X2 |
| X3 | Independen | Variabel X3 |
Tahapan analisis meliputi pemeriksaan kelengkapan data, eksplorasi data, statistik deskriptif, pembentukan model regresi linier berganda, pengujian asumsi klasik, uji F dan uji t, serta evaluasi pengamatan melalui Influence Plot, ukuran pengaruh, dan uji Bonferroni.
Analisis dilakukan menggunakan R dan RStudio melalui dokumen R
Markdown. Paket car digunakan untuk menghitung VIF, membuat
Influence Plot, dan menjalankan uji Bonferroni. Paket
lmtest digunakan untuk uji Breusch-Pagan dan
Durbin-Watson.
Data diambil dari lembar Sheet1 pada berkas Excel.
Pemilihan data dilakukan dengan menggunakan variabel Y, X1, X2, dan X3
sesuai batasan analisis. Data dimasukkan ke dalam R Markdown secara
langsung agar dokumen dapat dijalankan tanpa bergantung pada lokasi
berkas Excel di komputer.
data <- data.frame(
Y = c(75.36, 75.76, 76.43, 75.67, 74.36, 73.84, 74.91, 73.13, 74.55, 79.89, 84.15, 74.92, 73.87, 81.62, 75.35, 76.35, 78.63, 73.10, 69.14, 71.19, 74.28, 75.19, 78.79, 73.41, 75.68, 72.24, 75.18, 73.62, 72.01, 70.46, 73.40, 71.84, 67.69, 69.65, 73.83, 68.86, 60.25, 54.43),
X1 = c(73.99, 73.49, 68.48, 67.17, 65.65, 69.31, 64.35, 65.98, 71.36, 78.64, 88.92, 66.76, 58.67, 90.71, 67.35, 69.48, 78.28, 66.23, 47.90, 55.72, 67.94, 67.20, 71.15, 64.32, 69.91, 57.94, 64.76, 66.92, 55.69, 55.28, 75.57, 65.79, 56.37, 67.61, 67.18, 36.47, 33.37, 27.13),
X2 = c(39.83, 42.65, 37.45, 49.93, 41.65, 37.66, 33.99, 30.86, 48.86, 68.45, 63.69, 45.61, 40.36, 46.88, 38.51, 53.79, 49.32, 29.49, 26.68, 43.98, 50.67, 46.44, 57.68, 49.59, 44.53, 34.57, 39.50, 38.08, 38.55, 27.92, 34.96, 35.24, 37.13, 43.04, 42.72, 33.16, 12.98, 4.24),
X3 = c(92.43, 94.42, 96.56, 97.20, 97.19, 95.95, 96.50, 96.98, 98.34, 98.67, 98.00, 97.72, 98.47, 99.31, 96.92, 96.84, 98.25, 95.93, 82.50, 94.77, 96.10, 97.03, 98.61, 94.81, 94.36, 91.52, 96.49, 96.49, 95.09, 94.84, 83.22, 84.92, 80.17, 79.71, 76.75, 56.08, 33.31, 9.74)
)
data$Pengamatan <- seq_len(nrow(data))
data <- data[, c("Pengamatan", "Y", "X1", "X2", "X3")]
knitr::kable(head(data), caption = "Enam Pengamatan Pertama")
| Pengamatan | Y | X1 | X2 | X3 |
|---|---|---|---|---|
| 1 | 75.36 | 73.99 | 39.83 | 92.43 |
| 2 | 75.76 | 73.49 | 42.65 | 94.42 |
| 3 | 76.43 | 68.48 | 37.45 | 96.56 |
| 4 | 75.67 | 67.17 | 49.93 | 97.20 |
| 5 | 74.36 | 65.65 | 41.65 | 97.19 |
| 6 | 73.84 | 69.31 | 37.66 | 95.95 |
cat("Jumlah observasi:", nrow(data), "\n")
#> Jumlah observasi: 38
cat("Jumlah variabel analisis:", 4, "\n")
#> Jumlah variabel analisis: 4
cat("Jumlah data hilang:\n")
#> Jumlah data hilang:
colSums(is.na(data[, c("Y", "X1", "X2", "X3")]))
#> Y X1 X2 X3
#> 0 0 0 0
Eksplorasi data dilakukan untuk memeriksa struktur, tipe data, ukuran data, dan kelengkapan observasi sebelum analisis regresi dilakukan.
str(data)
#> 'data.frame': 38 obs. of 5 variables:
#> $ Pengamatan: int 1 2 3 4 5 6 7 8 9 10 ...
#> $ Y : num 75.4 75.8 76.4 75.7 74.4 ...
#> $ X1 : num 74 73.5 68.5 67.2 65.7 ...
#> $ X2 : num 39.8 42.6 37.5 49.9 41.6 ...
#> $ X3 : num 92.4 94.4 96.6 97.2 97.2 ...
dim(data)
#> [1] 38 5
summary(data[, c("Y", "X1", "X2", "X3")])
#> Y X1 X2 X3
#> Min. :54.43 Min. :27.13 Min. : 4.24 Min. : 9.74
#> 1st Qu.:72.07 1st Qu.:60.08 1st Qu.:35.03 1st Qu.:91.75
#> Median :74.08 Median :67.05 Median :40.09 Median :96.03
#> Mean :73.50 Mean :64.71 Mean :40.54 Mean :89.00
#> 3rd Qu.:75.59 3rd Qu.:69.80 3rd Qu.:46.77 3rd Qu.:97.15
#> Max. :84.15 Max. :90.71 Max. :68.45 Max. :99.31
par(mfrow = c(2, 2))
for (v in c("Y", "X1", "X2", "X3")) {
hist(data[[v]], main = paste("Histogram", v),
xlab = v, col = "grey85", border = "white")
}
par(mfrow = c(1, 1))
pairs(data[, c("Y", "X1", "X2", "X3")],
main = "Scatterplot Matrix Variabel Penelitian",
pch = 19, col = "steelblue")
Statistik deskriptif digunakan untuk mengetahui nilai minimum, kuartil, median, rata-rata, maksimum, dan simpangan baku dari setiap variabel.
variabel <- data[, c("Y", "X1", "X2", "X3")]
stat_deskriptif <- data.frame(
Variabel = names(variabel),
Minimum = sapply(variabel, min),
Q1 = sapply(variabel, quantile, probs = 0.25),
Median = sapply(variabel, median),
Mean = sapply(variabel, mean),
Q3 = sapply(variabel, quantile, probs = 0.75),
Maksimum = sapply(variabel, max),
Simpangan_Baku = sapply(variabel, sd)
)
knitr::kable(stat_deskriptif, digits = 4,
caption = "Statistik Deskriptif Variabel Penelitian")
| Variabel | Minimum | Q1 | Median | Mean | Q3 | Maksimum | Simpangan_Baku | |
|---|---|---|---|---|---|---|---|---|
| Y | Y | 54.43 | 72.0675 | 74.075 | 73.5008 | 75.5925 | 84.15 | 5.1332 |
| X1 | X1 | 27.13 | 60.0825 | 67.045 | 64.7116 | 69.8025 | 90.71 | 12.7654 |
| X2 | X2 | 4.24 | 35.0300 | 40.095 | 40.5432 | 46.7700 | 68.45 | 11.8894 |
| X3 | X3 | 9.74 | 91.7475 | 96.025 | 89.0050 | 97.1500 | 99.31 | 18.4237 |
Model regresi linier berganda dibentuk dengan Y sebagai variabel dependen serta X1, X2, dan X3 sebagai variabel independen.
regresi <- lm(Y ~ X1 + X2 + X3, data = data)
summary(regresi)
#>
#> Call:
#> lm(formula = Y ~ X1 + X2 + X3, data = data)
#>
#> Residuals:
#> Min 1Q Median 3Q Max
#> -3.8938 -0.7241 -0.1096 0.7571 4.2750
#>
#> Coefficients:
#> Estimate Std. Error t value Pr(>|t|)
#> (Intercept) 49.06659 1.40179 35.003 < 2e-16 ***
#> X1 0.18469 0.03596 5.137 1.14e-05 ***
#> X2 0.12053 0.03477 3.467 0.001448 **
#> X3 0.08534 0.02257 3.782 0.000603 ***
#> ---
#> Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
#>
#> Residual standard error: 1.551 on 34 degrees of freedom
#> Multiple R-squared: 0.9161, Adjusted R-squared: 0.9087
#> F-statistic: 123.8 on 3 and 34 DF, p-value: < 2.2e-16
Persamaan regresi berdasarkan hasil estimasi ditampilkan secara otomatis berikut.
b <- coef(regresi)
cat(sprintf("Ŷ = %.4f %+.4f X1 %+.4f X2 %+.4f X3\n",
b[1], b[2], b[3], b[4]))
#> Ŷ = 49.0666 +0.1847 X1 +0.1205 X2 +0.0853 X3
hasil_prediksi <- data.frame(
Pengamatan = data$Pengamatan,
Aktual = data$Y,
Prediksi = fitted(regresi),
Residual = residuals(regresi)
)
knitr::kable(head(hasil_prediksi, 10), digits = 4,
caption = "Sepuluh Pengamatan Pertama: Nilai Aktual, Prediksi, dan Residual")
| Pengamatan | Aktual | Prediksi | Residual |
|---|---|---|---|
| 1 | 75.36 | 75.4208 | -0.0608 |
| 2 | 75.76 | 75.8382 | -0.0782 |
| 3 | 76.43 | 74.4687 | 1.9613 |
| 4 | 75.67 | 75.7856 | -0.1156 |
| 5 | 74.36 | 74.5060 | -0.1460 |
| 6 | 73.84 | 74.5952 | -0.7552 |
| 7 | 74.91 | 73.2837 | 1.6263 |
| 8 | 73.13 | 73.2485 | -0.1185 |
| 9 | 74.55 | 76.5278 | -1.9778 |
| 10 | 79.89 | 80.2618 | -0.3718 |
library(car)
library(lmtest)
Uji normalitas dilakukan terhadap residual model menggunakan uji Shapiro-Wilk. Hipotesis yang digunakan adalah \(H_0\): residual berdistribusi normal dan \(H_1\): residual tidak berdistribusi normal.
uji_normalitas <- shapiro.test(residuals(regresi))
uji_normalitas
#>
#> Shapiro-Wilk normality test
#>
#> data: residuals(regresi)
#> W = 0.96592, p-value = 0.2937
qqnorm(residuals(regresi), main = "Normal Q-Q Plot Residual")
qqline(residuals(regresi), col = "red", lwd = 2)
Multikolinieritas diperiksa menggunakan Variance Inflation Factor (VIF). Nilai VIF yang semakin besar menunjukkan semakin kuat hubungan linear antarvariabel independen.
nilai_vif <- car::vif(regresi)
nilai_vif
#> X1 X2 X3
#> 3.240692 2.628635 2.658914
Uji Breusch-Pagan digunakan untuk memeriksa apakah varians residual bersifat konstan. Hipotesis nol menyatakan tidak terdapat heteroskedastisitas.
uji_bp <- lmtest::bptest(regresi)
uji_bp
#>
#> studentized Breusch-Pagan test
#>
#> data: regresi
#> BP = 6.29, df = 3, p-value = 0.09832
Uji Durbin-Watson digunakan untuk memeriksa autokorelasi residual. Interpretasi uji ini perlu memperhatikan urutan observasi. Apabila data merupakan data lintas individu/wilayah dan urutannya tidak memiliki makna runtut, hasil Durbin-Watson perlu diperlakukan secara hati-hati.
uji_dw <- lmtest::dwtest(regresi)
uji_dw
#>
#> Durbin-Watson test
#>
#> data: regresi
#> DW = 1.5833, p-value = 0.06092
#> alternative hypothesis: true autocorrelation is greater than 0
Uji F digunakan untuk mengetahui apakah X1, X2, dan X3 secara simultan berpengaruh signifikan terhadap Y.
Hipotesis: - \(H_0:\beta_1=\beta_2=\beta_3=0\) - \(H_1:\) minimal terdapat satu \(\beta_j\neq 0\)
tabel_anova <- anova(regresi)
tabel_anova
#> Analysis of Variance Table
#>
#> Response: Y
#> Df Sum Sq Mean Sq F value Pr(>F)
#> X1 1 805.21 805.21 334.74 < 2.2e-16 ***
#> X2 1 53.57 53.57 22.27 3.961e-05 ***
#> X3 1 34.40 34.40 14.30 0.0006028 ***
#> Residuals 34 81.79 2.41
#> ---
#> Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
hasil_model <- summary(regresi)
fstat <- hasil_model$fstatistic
p_value_f <- pf(fstat[1], fstat[2], fstat[3], lower.tail = FALSE)
cat("F hitung =", unname(fstat[1]), "\n")
#> F hitung = 123.7707
cat("p-value =", p_value_f, "\n")
#> p-value = 2.300745e-18
cat(ifelse(p_value_f < 0.05, "Keputusan: Tolak H0",
"Keputusan: Gagal menolak H0"))
#> Keputusan: Tolak H0
Uji t digunakan untuk mengetahui signifikansi pengaruh setiap variabel independen terhadap Y dengan mengendalikan variabel independen lainnya.
Hipotesis untuk setiap variabel: - \(H_0:\beta_j=0\) - \(H_1:\beta_j\neq 0\)
tabel_t <- as.data.frame(coef(summary(regresi)))
tabel_t$Variabel <- rownames(tabel_t)
rownames(tabel_t) <- NULL
tabel_t <- tabel_t[, c("Variabel", "Estimate", "Std. Error",
"t value", "Pr(>|t|)")]
names(tabel_t) <- c("Variabel", "Koefisien", "Std_Error",
"t_hitung", "p_value")
tabel_t$Keputusan <- ifelse(tabel_t$p_value < 0.05,
"Tolak H0", "Gagal menolak H0")
knitr::kable(tabel_t, digits = 5,
caption = "Hasil Uji Parsial (Uji t)")
| Variabel | Koefisien | Std_Error | t_hitung | p_value | Keputusan |
|---|---|---|---|---|---|
| (Intercept) | 49.06659 | 1.40179 | 35.00286 | 0.00000 | Tolak H0 |
| X1 | 0.18469 | 0.03596 | 5.13655 | 0.00001 | Tolak H0 |
| X2 | 0.12053 | 0.03477 | 3.46661 | 0.00145 | Tolak H0 |
| X3 | 0.08534 | 0.02257 | 3.78156 | 0.00060 | Tolak H0 |
Influence Plot digunakan untuk mengidentifikasi pengamatan yang memiliki residual terstandarisasi besar, leverage tinggi, atau pengaruh besar terhadap hasil estimasi model. Ukuran lingkaran pada plot menggambarkan besarnya Cook’s Distance. Plot berikut merupakan bagian wajib evaluasi model.
car::influencePlot(
regresi,
id.method = "noteworthy",
main = "Influence Plot Model Regresi",
sub = "Ukuran lingkaran menunjukkan Cook's Distance",
xlab = "Hat Values (Leverage)",
ylab = "Studentized Residuals"
)
#> StudRes Hat CookD
#> 11 2.0064165 0.22777831 0.27260141
#> 34 -2.8509727 0.06193197 0.11090408
#> 36 3.7237235 0.24475014 0.81498027
#> 37 0.4588994 0.27538825 0.02048412
#> 38 -0.9380235 0.53892627 0.25802594
Ukuran pengaruh dihitung menggunakan studentized residual, leverage, dan Cook’s Distance. Pengamatan dengan nilai yang relatif besar perlu diperiksa lebih lanjut, tetapi tidak langsung dihapus dari data.
pengaruh <- data.frame(
Pengamatan = data$Pengamatan,
Studentized_Residual = rstudent(regresi),
Leverage = hatvalues(regresi),
Cooks_Distance = cooks.distance(regresi)
)
pengaruh <- pengaruh[order(-pengaruh$Cooks_Distance), ]
knitr::kable(head(pengaruh, 10), digits = 5,
caption = "Sepuluh Pengamatan dengan Cook's Distance Terbesar")
| Pengamatan | Studentized_Residual | Leverage | Cooks_Distance | |
|---|---|---|---|---|
| 36 | 36 | 3.72372 | 0.24475 | 0.81498 |
| 11 | 11 | 2.00642 | 0.22778 | 0.27260 |
| 38 | 38 | -0.93802 | 0.53893 | 0.25803 |
| 14 | 14 | 1.25251 | 0.24477 | 0.12502 |
| 34 | 34 | -2.85097 | 0.06193 | 0.11090 |
| 33 | 33 | -2.15031 | 0.04094 | 0.04459 |
| 20 | 20 | -1.06739 | 0.11258 | 0.03599 |
| 3 | 3 | 1.31213 | 0.05145 | 0.02286 |
| 7 | 7 | 1.08945 | 0.06857 | 0.02172 |
| 24 | 24 | -1.07366 | 0.06763 | 0.02081 |
Uji Bonferroni dilakukan untuk menguji pengamatan yang memiliki residual ekstrem dengan mempertimbangkan banyaknya pengamatan yang diuji. Hipotesis yang digunakan adalah: - \(H_0\): pengamatan bukan merupakan outlier secara statistik. - \(H_1\): pengamatan merupakan outlier secara statistik.
uji_bonferroni <- car::outlierTest(regresi, cutoff = 0.05, n.max = 10)
uji_bonferroni
#> rstudent unadjusted p-value Bonferroni p
#> 36 3.723723 0.00073166 0.027803
Jika hasil uji menunjukkan Bonferroni p-value < 0,05, maka terdapat pengamatan yang teridentifikasi sebagai outlier secara statistik. Jika tidak, belum terdapat bukti yang cukup untuk menyatakan adanya outlier berdasarkan pengujian tersebut.
ringkasan_model <- data.frame(
Jumlah_Observasi = nobs(regresi),
R_Squared = summary(regresi)$r.squared,
Adjusted_R_Squared = summary(regresi)$adj.r.squared,
Residual_Standard_Error = summary(regresi)$sigma,
F_Statistic = unname(fstat[1]),
P_Value_Uji_F = p_value_f,
P_Value_Shapiro = uji_normalitas$p.value,
P_Value_Breusch_Pagan = uji_bp$p.value,
P_Value_Durbin_Watson = uji_dw$p.value
)
knitr::kable(ringkasan_model, digits = 5,
caption = "Ringkasan Evaluasi Model Regresi")
| Jumlah_Observasi | R_Squared | Adjusted_R_Squared | Residual_Standard_Error | F_Statistic | P_Value_Uji_F | P_Value_Shapiro | P_Value_Breusch_Pagan | P_Value_Durbin_Watson | |
|---|---|---|---|---|---|---|---|---|---|
| value | 38 | 0.91611 | 0.90871 | 1.55095 | 123.7707 | 0 | 0.29374 | 0.09832 | 0.06092 |
Kesimpulan disusun berdasarkan hasil analisis yang diperoleh setelah seluruh kode R Markdown dijalankan. Pembahasan kesimpulan mencakup karakteristik data, persamaan regresi, kemampuan model dalam menjelaskan variasi Y, hasil pengujian asumsi klasik, hasil uji F dan uji t, serta hasil identifikasi pengamatan berpengaruh dan uji Bonferroni. Kesimpulan akhir perlu disesuaikan dengan nilai output yang dihasilkan pada dokumen.
Analisis selanjutnya disarankan untuk mencantumkan definisi operasional, satuan, tahun, dan sumber asli setiap variabel agar interpretasi hasil regresi lebih bermakna. Pengamatan yang terindikasi berpengaruh perlu ditelusuri kembali berdasarkan sumber data dan karakteristik observasinya. Penghapusan pengamatan tidak dilakukan hanya karena nilai statistiknya ekstrem, tetapi harus disertai alasan substantif dan evaluasi model yang sesuai.
Fox, J., dan Weisberg, S. (2019). An R Companion to Applied Regression (3rd ed.). Sage Publications.
R Core Team. (2024). R: A language and environment for statistical computing. R Foundation for Statistical Computing.