Data yang digunakan adalah dataset USJudgeRatings, Lawyers’ ratings of state judges in the US Superior Court. Dengan peubah yang digunakan sebagai berikut: \(y\): Case flow managing \(x_1\): Judicial integrity \(x_2\): Diligence \(x_3\): Familiarity with law \(x_4\): Physical ability
data<-USJudgeRatings
str(data)
## 'data.frame': 43 obs. of 12 variables:
## $ CONT: num 5.7 6.8 7.2 6.8 7.3 6.2 10.6 7 7.3 8.2 ...
## $ INTG: num 7.9 8.9 8.1 8.8 6.4 8.8 9 5.9 8.9 7.9 ...
## $ DMNR: num 7.7 8.8 7.8 8.5 4.3 8.7 8.9 4.9 8.9 6.7 ...
## $ DILG: num 7.3 8.5 7.8 8.8 6.5 8.5 8.7 5.1 8.7 8.1 ...
## $ CFMG: num 7.1 7.8 7.5 8.3 6 7.9 8.5 5.4 8.6 7.9 ...
## $ DECI: num 7.4 8.1 7.6 8.5 6.2 8 8.5 5.9 8.5 8 ...
## $ PREP: num 7.1 8 7.5 8.7 5.7 8.1 8.5 4.8 8.4 7.9 ...
## $ FAMI: num 7.1 8 7.5 8.7 5.7 8 8.5 5.1 8.4 8.1 ...
## $ ORAL: num 7.1 7.8 7.3 8.4 5.1 8 8.6 4.7 8.4 7.7 ...
## $ WRIT: num 7 7.9 7.4 8.5 5.3 8 8.4 4.9 8.5 7.8 ...
## $ PHYS: num 8.3 8.5 7.9 8.8 5.5 8.6 9.1 6.8 8.8 8.5 ...
## $ RTEN: num 7.8 8.7 7.8 8.7 4.8 8.6 9 5 8.8 7.9 ...
y <- USJudgeRatings$CFMG
x1 <- USJudgeRatings$INTG
x2 <- USJudgeRatings$DILG
x3 <- USJudgeRatings$FAMI
x4 <- USJudgeRatings$PHYS
hist(y, col = "light blue")
library(ggplot2)
library(GGally)
ggpairs(data.frame(y,x1,x2,x3,x4))
Seluruh peubah penjelas memiliki korelasi positif yang kuat terhadap Case flow managing (y)
library(lmtest)
model<-lm(y~x1+x2+x3+x4)
summary(model)
##
## Call:
## lm(formula = y ~ x1 + x2 + x3 + x4)
##
## Residuals:
## Min 1Q Median 3Q Max
## -0.35727 -0.09298 -0.00866 0.11764 0.46369
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 0.39949 0.34002 1.175 0.2474
## x1 -0.15162 0.08259 -1.836 0.0742 .
## x2 0.76699 0.12099 6.339 1.95e-07 ***
## x3 0.02608 0.12266 0.213 0.8327
## x4 0.27725 0.06002 4.620 4.32e-05 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 0.196 on 38 degrees of freedom
## Multiple R-squared: 0.953, Adjusted R-squared: 0.9481
## F-statistic: 192.7 on 4 and 38 DF, p-value: < 2.2e-16
Model regresi klasik ini memiliki R-squared sebesar 95.3%. Peubah yang signifikan pada taraf nyata 5% adalah \(x_2\) dan \(x_4\). \(Y=0.39949-0.15162x_1+0.76699x_2+0.02608x_3+0.27725x_4\)
library(car)
vif(model)
## x1 x2 x3 x4
## 4.423603 12.990897 14.815696 3.477089
Multokolinieritas terdeteksi apabila \(VIF>10\). Maka diperoleh bahwa \(x_2\) dan \(x_3\) terdeteksi mengalami multikolinieritas.
model2<-lm(y~x1+x3+x4)
summary(model2)
##
## Call:
## lm(formula = y ~ x1 + x3 + x4)
##
## Residuals:
## Min 1Q Median 3Q Max
## -0.51748 -0.17313 -0.01927 0.12267 0.80635
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 0.666857 0.477732 1.396 0.17065
## x1 -0.006713 0.112368 -0.060 0.95267
## x3 0.613045 0.113911 5.382 3.73e-06 ***
## x4 0.286752 0.084952 3.375 0.00168 **
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 0.2775 on 39 degrees of freedom
## Multiple R-squared: 0.9033, Adjusted R-squared: 0.8959
## F-statistic: 121.5 on 3 and 39 DF, p-value: < 2.2e-16
vif(model2)
## x1 x3 x4
## 4.084726 6.373621 3.474919
model3<-lm(y~x1+x2+x4)
summary(model3)
##
## Call:
## lm(formula = y ~ x1 + x2 + x4)
##
## Residuals:
## Min 1Q Median 3Q Max
## -0.36171 -0.09494 -0.00526 0.11374 0.46648
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 0.37700 0.31918 1.181 0.245
## x1 -0.14782 0.07964 -1.856 0.071 .
## x2 0.78641 0.07838 10.034 2.33e-12 ***
## x4 0.28203 0.05496 5.131 8.27e-06 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 0.1936 on 39 degrees of freedom
## Multiple R-squared: 0.953, Adjusted R-squared: 0.9494
## F-statistic: 263.4 on 3 and 39 DF, p-value: < 2.2e-16
vif(model3)
## x1 x2 x4
## 4.216453 5.588604 2.989521
Multikolinieritas berhasil ditangani dengan mereduksi peubah \(x_2\) atau \(x_3\). Diperoleh R-squared terbesar dan RSE terkecil pada model regresi tanpa peubah \(x_3\).
sisaan <- model3$residuals
par(mfrow=c(2,2))
qqnorm(sisaan)
qqline(sisaan, col = "blue", lwd = 2)
plot(c(1:length(sisaan)),sisaan)
acf(sisaan)
pacf(sisaan)
Berdasarkan plot kuantil-kuantil normal, secara eksplorasi ditunjukkan sisaan pada pengamatan di kiri dan kanan cenderung tidak mengikuti garis. Kemudian dapat dilihat lebar pita sisaan yang cenderung sama menandakan bahwa sisaan memiliki ragam yang homogen. Plot ACF dan PACF sisaan tidak signifikan yang menandakan saling bebas. Kondisi ini akan diuji lebih lanjut dengan uji formal.
#1) Sisaan Menyebar Normal
ks.test(sisaan,"pnorm")
##
## Exact one-sample Kolmogorov-Smirnov test
##
## data: sisaan
## D = 0.35879, p-value = 1.838e-05
## alternative hypothesis: two-sided
Hipotesis pada uji KS adalah sebagai berikut.
\(H_0\) : Sisaan menyebar normal
\(H_1\) : Sisaan tidak menyebar normal
Berdasarkan uji KS tersebut, didapat p-value sebesar 1.838e-05 yang lebih kecil dari taraf nyata 5% sehingga tolak \(H_0\) dan menandakan bahwa sisaan tidak menyebar normal.
#2) Sisaan saling bebas/tidak ada autokorelasi
Box.test(sisaan, type = "Ljung")
##
## Box-Ljung test
##
## data: sisaan
## X-squared = 1.6367, df = 1, p-value = 0.2008
Selanjutnya akan dilakukan uji formal untuk kebebasan sisaan menggunakan uji Ljung-Box. Hipotesis yang digunakan adalah sebagai berikut.
\(H_0\) : Sisaan saling bebas
\(H_1\) : Sisaan tidak tidak saling bebas
Berdasarkan uji Ljung-Box tersebut, didapat p-value sebesar 0.2008 yang lebih besar dari taraf nyata 5% sehingga tak tolak \(H_0\) dan menandakan bahwa sisaan saling bebas.
#3) Sisaan homogen
Box.test((sisaan)^2, type = "Ljung")
##
## Box-Ljung test
##
## data: (sisaan)^2
## X-squared = 1.3012, df = 1, p-value = 0.254
#tak tolak H0 > sisaan homogen
Hipotesis yang digunakan untuk uji kehomogenan ragam adalah sebagai berikut.
\(H_0\) : Ragam sisaan homogen
\(H_1\) : Ragam sisaan tidak homogen
Berdasarkan uji Ljung-Box terhadap sisaan kuadrat tersebut, didapat p-value sebesar 0.254 yang lebih besar dari taraf nyata 5% sehingga tak tolak \(H_0\) dan menandakan bahwa ragam sisaan homogen.
#4) Nilai tengah sisaan sama dengan nol
t.test(sisaan, mu = 0, conf.level = 0.95)
##
## One Sample t-test
##
## data: sisaan
## t = -1.3562e-17, df = 42, p-value = 1
## alternative hypothesis: true mean is not equal to 0
## 95 percent confidence interval:
## -0.0574046 0.0574046
## sample estimates:
## mean of x
## -3.857743e-19
#tak tolak h0 > nilai tengah sisaan sama dengan 0
Terakhir, dengan uji-t, akan dicek apakah nilai tengah sisaan sama dengan nol. Hipotesis yang diujikan sebagai berikut.
\(H_0\) : nilai tengah sisaan sama dengan 0
\(H_1\) : nilai tengah sisaan tidak sama dengan 0
Berdasarkan uji-ttersebut, didapat p-value sebesar 1 yang lebih besar dari taraf nyata 5% sehingga tak tolak \(H_0\) dan menandakan bahwa nilai tengah sisaan sama dengan nol.
backward <- step(model3, direction="backward", scope=formula(lm(y ~ 1)), trace=1)
## Start: AIC=-137.42
## y ~ x1 + x2 + x4
##
## Df Sum of Sq RSS AIC
## <none> 1.4613 -137.421
## - x1 1 0.1291 1.5904 -135.781
## - x4 1 0.9865 2.4478 -117.239
## - x2 1 3.7722 5.2335 -84.563
summary(backward)
##
## Call:
## lm(formula = y ~ x1 + x2 + x4)
##
## Residuals:
## Min 1Q Median 3Q Max
## -0.36171 -0.09494 -0.00526 0.11374 0.46648
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 0.37700 0.31918 1.181 0.245
## x1 -0.14782 0.07964 -1.856 0.071 .
## x2 0.78641 0.07838 10.034 2.33e-12 ***
## x4 0.28203 0.05496 5.131 8.27e-06 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 0.1936 on 39 degrees of freedom
## Multiple R-squared: 0.953, Adjusted R-squared: 0.9494
## F-statistic: 263.4 on 3 and 39 DF, p-value: < 2.2e-16
forward <- step(lm(y ~ 1), direction="forward", scope=formula(model3), trace=1)
## Start: AIC=-11.97
## y ~ 1
##
## Df Sum of Sq RSS AIC
## + x2 1 28.564 2.5076 -118.201
## + x4 1 24.034 7.0377 -73.827
## + x1 1 20.592 10.4792 -56.708
## <none> 31.0712 -11.972
##
## Step: AIC=-118.2
## y ~ x2
##
## Df Sum of Sq RSS AIC
## + x4 1 0.91722 1.5904 -135.78
## <none> 2.5076 -118.20
## + x1 1 0.05983 2.4478 -117.24
##
## Step: AIC=-135.78
## y ~ x2 + x4
##
## Df Sum of Sq RSS AIC
## + x1 1 0.1291 1.4613 -137.42
## <none> 1.5904 -135.78
##
## Step: AIC=-137.42
## y ~ x2 + x4 + x1
summary(forward)
##
## Call:
## lm(formula = y ~ x2 + x4 + x1)
##
## Residuals:
## Min 1Q Median 3Q Max
## -0.36171 -0.09494 -0.00526 0.11374 0.46648
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 0.37700 0.31918 1.181 0.245
## x2 0.78641 0.07838 10.034 2.33e-12 ***
## x4 0.28203 0.05496 5.131 8.27e-06 ***
## x1 -0.14782 0.07964 -1.856 0.071 .
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 0.1936 on 39 degrees of freedom
## Multiple R-squared: 0.953, Adjusted R-squared: 0.9494
## F-statistic: 263.4 on 3 and 39 DF, p-value: < 2.2e-16
stepwise <- step(lm(y ~ 1), direction="both", scope=formula(model3), trace=1)
## Start: AIC=-11.97
## y ~ 1
##
## Df Sum of Sq RSS AIC
## + x2 1 28.564 2.5076 -118.201
## + x4 1 24.034 7.0377 -73.827
## + x1 1 20.592 10.4792 -56.708
## <none> 31.0712 -11.972
##
## Step: AIC=-118.2
## y ~ x2
##
## Df Sum of Sq RSS AIC
## + x4 1 0.9172 1.5904 -135.781
## <none> 2.5076 -118.201
## + x1 1 0.0598 2.4478 -117.239
## - x2 1 28.5636 31.0712 -11.972
##
## Step: AIC=-135.78
## y ~ x2 + x4
##
## Df Sum of Sq RSS AIC
## + x1 1 0.1291 1.4613 -137.421
## <none> 1.5904 -135.781
## - x4 1 0.9172 2.5076 -118.201
## - x2 1 5.4473 7.0377 -73.827
##
## Step: AIC=-137.42
## y ~ x2 + x4 + x1
##
## Df Sum of Sq RSS AIC
## <none> 1.4613 -137.421
## - x1 1 0.1291 1.5904 -135.781
## - x4 1 0.9865 2.4478 -117.239
## - x2 1 3.7722 5.2335 -84.563
summary(stepwise)
##
## Call:
## lm(formula = y ~ x2 + x4 + x1)
##
## Residuals:
## Min 1Q Median 3Q Max
## -0.36171 -0.09494 -0.00526 0.11374 0.46648
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 0.37700 0.31918 1.181 0.245
## x2 0.78641 0.07838 10.034 2.33e-12 ***
## x4 0.28203 0.05496 5.131 8.27e-06 ***
## x1 -0.14782 0.07964 -1.856 0.071 .
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 0.1936 on 39 degrees of freedom
## Multiple R-squared: 0.953, Adjusted R-squared: 0.9494
## F-statistic: 263.4 on 3 and 39 DF, p-value: < 2.2e-16
Hasil seleksi peubah menggunakan metode backward, forward, dan stepwise menunjukkan hasil yang sama, yaitu menggunakan peubah \(x_1\), \(x_2\), dan, \(x_4\).
lapply(c("glmnet","lmridge"),library,character.only=T)[[1]]
## [1] "glmnet" "Matrix" "car" "carData" "lmtest" "zoo"
## [7] "GGally" "ggplot2" "stats" "graphics" "grDevices" "utils"
## [13] "datasets" "methods" "base"
x <- cbind(x1,x2,x3,x4)
cv.r<-cv.glmnet(x,y,alpha=0);plot(cv.r)
best.lr<-cv.r$lambda.min
bestridge<-glmnet(x,y,alpha=0,lambda=best.lr);coef(bestridge)
## 5 x 1 sparse Matrix of class "dgCMatrix"
## s0
## (Intercept) 0.4632706672
## x1 -0.0001836007
## x2 0.4424600006
## x3 0.2126649198
## x4 0.2546858523
Seluruh peubah dimasukkan dalam model.
rsq<-function(bestmodel,bestlambda,x,y){
#y duga
y.duga <- predict(bestmodel, s = bestlambda, newx = x)
#JKG dan JKT
jkt <- sum((y - mean(y))^2)
jkg <- sum((y.duga- y)^2)
#find R-Squared
rsq <- 1 - jkg/jkt
return(rsq)
}
rsqridge<-rsq(bestridge,best.lr,x,y)
print(paste("R-Squared:",rsqridge))
## [1] "R-Squared: 0.941825472050274"
# Prediksi model ridge pada data pelatihan
train_predictionsridge <- predict(bestridge,newx = x)
# Hitung residu (selisih antara prediksi dan nilai sebenarnya)
residualsridge <- y - train_predictionsridge
# Hitung varian residu
dfridge <- length(y) - length(bestridge$beta)
residual_varianceridge <- sum(residualsridge^2) / dfridge
# Hitung RSE
rseridge <- sqrt(residual_varianceridge)
print(paste("Residual Standard Error (RSE):",rseridge))
## [1] "Residual Standard Error (RSE): 0.215284559940245"
library("glmnet")
library("lmridge")
cv.l<-cv.glmnet(x,y,alpha=1);plot(cv.l)
best.ll<-cv.l$lambda.min
bestlasso<-glmnet(x,y,alpha=1,lambda=best.ll);coef(bestlasso)
## 5 x 1 sparse Matrix of class "dgCMatrix"
## s0
## (Intercept) 0.32829714
## x1 -0.10362453
## x2 0.74545967
## x3 0.01002587
## x4 0.27373077
Seluruh peubah dimasukkan dalam model.
rsqLasso<-rsq(bestlasso,best.ll,x,y)
print(paste("R-Squared:",rsqLasso))
## [1] "R-Squared: 0.952578246375302"
# Prediksi model Lasso pada data pelatihan
train_predictionsLasso <- predict(bestlasso,newx = x)
# Hitung residu (selisih antara prediksi dan nilai sebenarnya)
residualsLasso <- y - train_predictionsLasso
# Hitung varian residu
dfLasso <- length(y) - length(bestlasso$beta)
residual_varianceLasso <- sum(residualsLasso^2) / dfLasso
# Hitung RSE
rseLasso <- sqrt(residual_varianceLasso)
print(paste("Residual Standard Error (RSE):",rseLasso))
## [1] "Residual Standard Error (RSE): 0.194372694260763"
rsqklasik<-summary(model3)$r.squared
rseklasik<-summary(model3)$sigma
tabel <- data.frame(
Model = c("Regresi Klasik", "Regresi Ridge", "Regresi Lasso"),
RSquared= c(rsqklasik, rsqridge, rsqLasso),
RSE = c(rseklasik, rseridge, rseLasso)
)
knitr::kable(tabel)
| Model | RSquared | RSE |
|---|---|---|
| Regresi Klasik | 0.9529699 | 0.1935684 |
| Regresi Ridge | 0.9418255 | 0.2152846 |
| Regresi Lasso | 0.9525782 | 0.1943727 |
Model regresi klasik memiliki R-Squared paling besar dan RSE paling kecil sehingga model terbaik adalah model regresi klasik.
\(Y=0.37700-0.14782x_1+0.78641x_2+0.28203x_4\)
0.37700: nilai rataan Case flow managing ketika seluruh peubah penjelas bernilai 0, yaitu sebesar 0.37700
\(-0.14782x_1\): Jika Judicial integrity bertambah satu satuan, Case flow managing akan turun dengan rata-rata sebesar 0.14782 dengan asumsi peubah penjelas lainnya konstan
\(0.78641x_2\): Jika Diligence bertambah satu satuan, Case flow managing akan naik dengan rata-rata sebesar 0.78641 dengan asumsi peubah penjelas lainnya konstan
\(0.28203x_4\): Jika Physical ability bertambah satu satuan, Case flow managing akan turun dengan rata-rata sebesar 0.28203 dengan asumsi peubah penjelas lainnya konstan