Anreg P4

Ringkasan Model Regresi

model <- lm(y ~ x1 + x2 + x3, data = df)
summary(model) 

## 
## Call:
## lm(formula = y ~ x1 + x2 + x3, data = df)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -45.799 -16.805  -1.352   9.696  51.355 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 122.1006    11.9983  10.177 1.48e-11 ***
## x1            0.9242     0.8127   1.137   0.2639    
## x2            0.6180     0.9055   0.682   0.4999    
## x3            3.9523     1.8119   2.181   0.0366 *  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 26.97 on 32 degrees of freedom
## Multiple R-squared:  0.386,  Adjusted R-squared:  0.3284 
## F-statistic: 6.706 on 3 and 32 DF,  p-value: 0.001223

ANOVA

anova(model)

## Analysis of Variance Table
## 
## Response: y
##           Df  Sum Sq Mean Sq F value   Pr(>F)   
## x1         1  8501.9  8501.9 11.6922 0.001731 **
## x2         1  2666.8  2666.8  3.6674 0.064461 . 
## x3         1  3459.9  3459.9  4.7582 0.036619 * 
## Residuals 32 23268.7   727.1                    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Selang Kepercayaan

confint(model)

##                  2.5 %     97.5 %
## (Intercept) 97.6609117 146.540358
## x1          -0.7310951   2.579564
## x2          -1.2265068   2.462407
## x3           0.2616205   7.643053

Parameter Regresi

Dalam regresi linear berganda, estimasi parameter dilakukan memakai metode Ordinary Least Square yang dinotasikan dalam bentuk matriks berikut: \[ b_{(k+1)\times1}=(X'X)_{(k+1)\times(k+1)}^{-1}X'_{(k+1)\times{n}}y_{(n\times1)} \]

# Menentukan estimasi parameter regressi dengan rumus OLS
x0 <- rep(1, nrow(df))
Y <- as.matrix(df$y)
X <- as.matrix(cbind(x0, df$x1, df$x2, df$x3))
b <- solve(t(X)%*%X)%*%t(X)%*%Y;round(b,4)

##        [,1]
## x0 122.1006
##      0.9242
##      0.6180
##      3.9523

# Menampilkan nilai koefisien regresi
b0 <- b[1]
b1 <- b[2]
b2 <- b[3]
b3 <- b[4]

print(paste("b0:",b[1]))

## [1] "b0: 122.1006349907"

print(paste("b1:",b[2]))

## [1] "b1: 0.924234526233408"

print(paste("b2:",b[3]))

## [1] "b2: 0.617950334052231"

print(paste("b3:",b[4]))

## [1] "b3: 3.95233664011293"

Koefisien determinasi dan penyesuaiannya

Dalam RLB, varians residual diperlukan untuk memgnukur seberapa jauh oenyebaran data observasi dari model yang siestimasi. Varians residual bisa dihitung dengan rumus di bawah: \[ \hat{\sigma}^2=\frac{SSR_{esidual}}{n-p}=\frac{y'y-\hat{\beta}x'y}{n-p} \]

# Koefisien regresi dengan metode OLS
sigma_kuadrat <- (t(Y)%*%Y-t(b)%*%t(X)%*%Y)/(n-p)
Res_se <- sqrt(sigma_kuadrat)
round(Res_se,3)

##        [,1]
## [1,] 26.966

Nilai galat baku residual menunjukkan bahwa secara rata-rata penyimpangan prediksi model dari nilai aktual y yaitusekitar 26.966

# Memprediksi nilai y_duga
y_duga <- b0 + b1 * df$x1 + b2 * df$x2 + b3 * df$x3
Y <- data.frame(y = df$y, y_duga = y_duga)
head(Y)

##        y   y_duga
## 1 158.76 166.5139
## 2 197.19 207.5768
## 3 144.73 179.0114
## 4 140.06 173.5212
## 5 129.71 148.4538
## 6 162.59 180.6730

R_squared <- (cor(df$y, y_duga))^2  # Gunakan df$y, bukan y
round(R_squared, 4)

## [1] 0.386

Koefisien determinasi (\(R^2\)) menunjukkan besaran proporsi variasi dalam variabel dependen (\(y\)) yang bisa dijelaskan oleh variabel independen dalam model regresi. Dengan nilai \(R^2\) sebesar 0.386, sekitar 38.6% dari variasi dalam \(y\) bisa dijelaskna oleh model ini. Hal ini mengisyaratkan bahwa model ini kurang baik dalam menjelaskan y secara keseluruhan,

R_squared_adj <- 1-((1-R_squared)*(n-1)/(n-p));
print(round(R_squared_adj,4))

## [1] 0.3284

Adjusted \(R^2\) menunjukkan jumlah variabel independen dalam model dan memberikan penalti jika model terlalu kompleks. Dengan nilai adjusted \(R^2\) sebesar 0.3824, ini berarti setelah memperhitungkan jumlah variabel, model masih mampu menjelaskan sekitar 32.84% dari variasi dalam y. Artinya model ini masih memiliki keterbatasan dalam menjelaskan variabel dependen secara menyeluruh.

Uji F dan Galat Baku Parameter Regresi

# Uji F
dbr <- p-1
dbg <- n-p
galat <- df$y -(b0+b1*df$x1+b2*df$x2+b3*df$x3)
KTR <- sum((y_duga-mean(df$y))^2)/(p-1)
KTG <- sum(galat^2)/(n-p)
Fhit <- KTR/KTG
Ftab <- qf(0.95, dbr, dbg)
pval <- pf(Fhit, dbr, dbg, lower.tail = F)

print(paste("db regresi:",dbr)) #Derajat bebas regresi

## [1] "db regresi: 3"

print(paste("db galat:",dbg)) #Derajat bebas regresi

## [1] "db galat: 32"

print(paste("KT regresi:",KTR)) #Kuadrat tengah regresi

## [1] "KT regresi: 4876.19884277776"

print(paste("KT galat:",KTG)) #Kuadrat tengah galat

## [1] "KT galat: 727.147978975695"

print(paste("Fhit:",round(Fhit, 4))) #Nilai F hitung

## [1] "Fhit: 6.7059"

print(paste("Ftab:",round(Ftab, 4))) #Nilai F tabel

## [1] "Ftab: 2.9011"

print(paste("P-value:",round(pval, 4))) #Nilai p-value

## [1] "P-value: 0.0012"

Diketahui nilai \(F hitung\) 6.7059 > \(F tabel\) 2.9011, dengan p-value 0.0012 yang lebih kecil dari 0.05. Hal ini mengindikasikan bahwa model RLB dari Data Liver dengan 4 variabel terpilih secara keseluruhan signifikan pada tingkat kepercayaan 95%, sehingga setidaknya satu variabel prediktor berpengaruh terhadap variabel respon.

#Standar error koefisien regresi
se_b <- sqrt(sigma_kuadrat[1]*solve(t(X)%*%X))
se_b

##           x0                             
## x0 11.998293       NaN 1.1829188      NaN
##          NaN 0.8126577       NaN      NaN
##     1.182919       NaN 0.9055069      NaN
##          NaN       NaN       NaN 1.811898

se_b0 <- se_b[1,1]
se_b1 <- se_b[2,2]
se_b2 <- se_b[3,3]
se_b3 <- se_b[4,4]
print(paste("se_b0:",round(se_b0,4)))

## [1] "se_b0: 11.9983"

print(paste("se_b1:",round(se_b1,4)))

## [1] "se_b1: 0.8127"

print(paste("se_b2:",round(se_b2,4)))

## [1] "se_b2: 0.9055"

print(paste("se_b3:",round(se_b3,4)))

## [1] "se_b3: 1.8119"

Nilai standart error mencerminkan tingkat ketidakpastian dalam estimas koefisien regresi. Dalam analisis ini, estimasi intersep (se_bo = 11.9983) memiliki variasi yang cukup besar, menandakan ketidakpastian yang cukup tinggi saat semua variabel independen bernilai nol. Koefisien b1 dan b2 memiliki SE yang lebh kecil dari SE koefisien b3. Ini artinya estimasi b3 memiliki variasi lebih tinggi, sehingga analisis pengaruh x3 terhadap y harus lebih hati-hati.