Analisis regresi linear sederhana adalah suatu alat analisis yang digunakan untuk mengukur pengaruh antara variabel bebas (X) dan variabel terikat (Y) (Sugiyono, 2011). Analisis Regresi Linear Sederhana merupakan analisis yang berupa metode statistik yang digunakan untuk mengukur pengaruh antara satu variabel prediktor (variabel bebas) terhadap variabel respon (terikat).Namun, informasi dari x menjelaskan tidak secara keseluruhan variabilitas yang dilihat di y. Nama lain dari variabel penjelas adalah variabel prediktor atau regressor variable. Oleh karena itu, secara keseluruhan subjek ini disebut dengan regresi atau regression.( Bingham & Fry, 2010)
Terdapat 4 asumsi yang harus terpenuhi agar analisis regresi dapat dilakukan, yaitu :
Regresi linier normal mengasumsikan bahwa setiap ui didistribusikan secara normal dengan rata-rata nol dan varians σ2. Hal-hal yang mempengaruhi mengapa berdistribusi normal, yaitu :
ui merupakan pengaruh gabungan (terhadap variabel tak bebas) dari sejumlah besar variabel bebas yang tidak dimunculkan secara explisit dalam model regresi.
Suatu varians dari central limit theorem menyatakan bahwa bahkan apabila banyaknya variabel tidak sangat besar atau jika variabel ini tidak independen benar, jumlahnya masih bisa didistribusikan secara normal.
Dengan asumsi kenormalan, distribusi probabilitas penaksir OLS dengan mudah diperoleh, karena merupakan sifat distribusi normal bahwa setiap fungsi linier dari variabel-variabel yang diditribusikan secara normal dengan sendirinya didistribusikan secara normal.
Distribusi normal adalah distribusi yang relatif sederhana yang hanya melibatkan dua parameter (rata-rata dan varians), distribusi ini sangat dikenal dan sifat-sifat teoritisnya telah dipelajari secara luas dalam statistik matematik.
Salah satu asumsi yang harus dipenuhi ketika menggunakan regresi linier berganda dengan metode OLS (Ordinary Least Square) agar estimasi parameter model bersifat BLUE (Best Linear Unbiased Estimator) adalah homoskedastisitas, yakni semua error mempunyai varians sama atau konstan.Asumsi homoskedastisitas ini pada intinya ingin mengatakan bahwa varian dari setiap error untuk variabel-variabel bebas yang diketahui merupakan suatu bilangan konstan.
Istilah autokorelasi didefinisikan sebagai korelasi yang terjadi antar anggota serangkaian observasi yang diurutkan menurut waktu (seperti dalam data deret waktu) atau ruang (seperti dalam data cross sectional). Dalam konteks regresi, model regresi linear klasik mengasumsikan bahwa autokorelasi tersebut tidak terdapat dalam gangguan ui. Sederhananya dapat dikatakan bahwa usur gangguan yang berhubungan dengan observasi tidak dipengaruhi oleh unsur gangguan yang berhubungan dengan pengamatan lain manapun.
multikolinearitas dilakukan dengan tujuan untuk mengetahui apakah pada suatu model regresi ditemukan adanya korelasi antar variabel independent (Ghozali, 2016). Pengujian multikolinearitas bertujuan untuk mengetahui apakah model regresi ditemukan adanya korelasi antar variabel independent/ atau variable bebas (Ghozali, 2016).
Data pengaruh Promosi terhadap Penjualan UKM dengan X1 sebagai biaya promosi, X2 sebagai jumlah penjualan, dan Y sebagai pendapatan.
library(readxl)
DATA_TUGAS_PKOMSTAT <- read_excel("D:/1. KULIAH/MK/SMT 4/KOMSTAT/TUGAS/DATA TUGAS PKOMSTAT.xlsx")
x1= DATA_TUGAS_PKOMSTAT$`Suhu rata-rata`
x2=DATA_TUGAS_PKOMSTAT$Kelembapan
x3=DATA_TUGAS_PKOMSTAT$`Curah hujan`
Y=DATA_TUGAS_PKOMSTAT$Produksi
data <- data.frame(x1,x2,x3,Y)#perhitungan dengan matrix
n <- length(Y)
x0 <- rep(1,n)
xx <- matrix(c(x0,x1,x2,x3), nrow = n)
xtx <- t(xx)%*%xx
xtx1 <- solve(xtx)
xty <- t(xx)%*%Y
beta <- xtx1%*%xty
beta## [,1]
## [1,] 18334090.2977
## [2,] -1129762.3379
## [3,] 162330.1571
## [4,] -361.5682#uji simultan
ytopi <- beta[1]+beta[2]*x1+beta[3]*x2+beta[4]*x3
Ei <- Y-ytopi
JKT = sum((Y-mean(Y))^2)
JKG = sum(Ei^2)
JKR = JKT-JKG
JK <- c(JKR, JKG, JKT)
dbreg = ncol(data)-1
dbt = n-1
dbg = dbt-dbreg
db <- c(dbreg, dbg, dbt)
KTR = JKR/dbreg
KTG = JKG/dbt
KT <- c(KTR,KTG,"-")
FHIT = KTR/KTG
f=c(FHIT,"-","-")
pvalue_f <- pf(FHIT, 2, KTG, lower.tail=FALSE)
pval=c(pvalue_f,"-","-")
SK = c("Regresi","Galat","Total")
uji.anova <- data.frame(SK,JK,db,KT,f,pval)
uji.anova## SK JK db KT f pval
## 1 Regresi 2.562426e+12 3 854142126370.723 1.25395964431276 0.285372582833112
## 2 Galat 4.768092e+12 4 681155992734.391 - -
## 3 Total 7.330518e+12 7 - - -#uji parsial
sigma<-(t(Y-(xx%*%beta))%*%(Y-(xx%*%beta)))/(n-ncol(data))
sb<-sqrt(sigma%*%diag(xtx1))
tb<-t(beta)/sb
tb## [,1] [,2] [,3] [,4]
## [1,] 0.8104952 -0.893629 0.7639808 -0.78115192*(1-pt(abs(tb),dbg))## [,1] [,2] [,3] [,4]
## [1,] 0.4631204 0.4220279 0.4874565 0.4783604#koefisien determinasi
R2 <- 1-(JKG/JKT)
R2## [1] 0.349556#function R
model <- lm(Y~x1+x2+x3)
summary(model)##
## Call:
## lm(formula = Y ~ x1 + x2 + x3)
##
## Residuals:
## 1 2 3 4 5 6 7 8
## -299334 -122041 423091 -1113998 -623088 1561478 -361400 535291
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 18334090.3 22620850.3 0.810 0.463
## x1 -1129762.3 1264240.9 -0.894 0.422
## x2 162330.2 212479.4 0.764 0.487
## x3 -361.6 462.9 -0.781 0.478
##
## Residual standard error: 1092000 on 4 degrees of freedom
## Multiple R-squared: 0.3496, Adjusted R-squared: -0.1383
## F-statistic: 0.7165 on 3 and 4 DF, p-value: 0.5917lm(formula = Y ~ x1 + x2 + x3)##
## Call:
## lm(formula = Y ~ x1 + x2 + x3)
##
## Coefficients:
## (Intercept) x1 x2 x3
## 18334090.3 -1129762.3 162330.2 -361.6uji.anova <- anova(model)
uji.anova## Analysis of Variance Table
##
## Response: Y
## Df Sum Sq Mean Sq F value Pr(>F)
## x1 1 1.0119e+12 1.0119e+12 0.8489 0.4090
## x2 1 8.2312e+11 8.2312e+11 0.6905 0.4527
## x3 1 7.2737e+11 7.2737e+11 0.6102 0.4784
## Residuals 4 4.7681e+12 1.1920e+12#asumsi normalitas Perhitungan Menggunakan Function R
library(car)## Loading required package: carDatashapiro.test(residuals(model))##
## Shapiro-Wilk normality test
##
## data: residuals(model)
## W = 0.95385, p-value = 0.7499#asumsi homoskedastisitas
library(lmtest)## Loading required package: zoo##
## Attaching package: 'zoo'## The following objects are masked from 'package:base':
##
## as.Date, as.Date.numericbptest(model)##
## studentized Breusch-Pagan test
##
## data: model
## BP = 3.0071, df = 3, p-value = 0.3905#asumsi non autokorelasi
dwtest(model)##
## Durbin-Watson test
##
## data: model
## DW = 2.56, p-value = 0.5095
## alternative hypothesis: true autocorrelation is greater than 0#Asumsi non Multikolinearitas
TOL <- 1/vif(model)
VIF <- vif(model)
VIF; TOL## x1 x2 x3
## 2.606313 2.321437 1.212924## x1 x2 x3
## 0.3836837 0.4307676 0.8244540Y = 18334090.3 - 1129762.3X1 + 162330.2X2 - 361.6X3
H0 : seluruh variabel independen tidak berpengaruh signifikan terhadap variabel dependen
H1 : minimal ada 1 variabel independen yang berpengaruh signifikan terhadap variabel dependen
Statistik uji:
p-value = 0.28537
Titik kritis :
alpha = 0.05
Keputusan :
Statistik uji (0.28537) < Titik kritis (0.05), maka Terima H0
Kesimpulan:
Dengan taraf nyata 5% dapat disimpulkan bahwa seluruh variabel prediktor tidak memiliki pengaruh yang signifikan terhadap hasil produksi.
R2 = 0.349556
Dengan demikian, suhu rata-rata (X1), kelembapan (X2), dan curah hujan (x3) dapat menjelaskan 34,96% dari pendapatan (Y).
H0 : Populasi berdistribusi normal
H1 : Populasi tidak berdistribusi normal
Statistik uji:
p-value = 0.7499
Titik kritis :
alpha = 0.05
Keputusan:
Statistik uji (0.7499) > Titik kritis (0.05), maka Terima H0. Kesimpulan: Dengan taraf nyata 5% dapat disimpulkan bahwa populasi berdistribusi normal.
H0 : Tidak terjadi heteroskedastisitas
H1 : Terjadi heteroskedastisitas
Statistik uji:
p-value = 0.3905
Titik kritis :
alpha = 0.05
Keputusan:
karena nilai p (0.3905) > alpha (0.05), maka Terima H0.
Kesimpulan:
Dengan taraf nyata 5% dapat disimpulkan bahwa tidak terjadi masalah heteroskedastisitas atau asumsi homoskedastisitas terpenuhi.
H0 : Tidak terjadi autokorelasi
H1 : Terjadi autokorelasi
Statistik uji:
p-value = 0.5095
Titik kritis :
alpha = 0.05
Keputusan:
Statistik uji (0.5095) > Titik kritis (0.05), maka Terima H0. Kesimpulan: Dengan taraf nyata 5% dapat disimpulkan bahwa tidak terjadi masalah autokorelasi.
VIF x1 = 2.606313 VIF x2 = 2.321437 VIF x3 = 1.212924
TOL x1 = 0.3836837 TOL x2 = 0.4307676 TOL x3 = 0.8244540
Nilai VIF < 10 dan nilai Tolerance > 0,01, maka dinyatakan tidak terjadi multikolinearitas.
Analisis regresi linear sederhana adalah suatu alat analisis yang digunakan untuk mengukur pengaruh antara variabel bebas (X) dan variabel terikat (Y) dengan 4 asumsi yang harus terpenuhi agar analisis regresi dapat dilakukan. Uji ini juga tidak dapat dilakukan jika belum memenuhi asumsi-asumsinya.
BJohnson, M., & Smith, A. (2020). Regression Analysis: A Comprehensive Overview. Journal of Statistical Analysis.
Brown, R., & Davis, M. (2019). Applications of Regression Analysis in Social Sciences. Social Science Research Review.