Data

Data yang digunakan adalah dataset USJudgeRatings, Lawyers’ ratings of state judges in the US Superior Court. Dengan peubah yang digunakan sebagai berikut: \(y\): Case flow managing \(x_1\): Judicial integrity \(x_2\): Diligence \(x_3\): Familiarity with law \(x_4\): Physical ability

data<-USJudgeRatings
str(data)
## 'data.frame':    43 obs. of  12 variables:
##  $ CONT: num  5.7 6.8 7.2 6.8 7.3 6.2 10.6 7 7.3 8.2 ...
##  $ INTG: num  7.9 8.9 8.1 8.8 6.4 8.8 9 5.9 8.9 7.9 ...
##  $ DMNR: num  7.7 8.8 7.8 8.5 4.3 8.7 8.9 4.9 8.9 6.7 ...
##  $ DILG: num  7.3 8.5 7.8 8.8 6.5 8.5 8.7 5.1 8.7 8.1 ...
##  $ CFMG: num  7.1 7.8 7.5 8.3 6 7.9 8.5 5.4 8.6 7.9 ...
##  $ DECI: num  7.4 8.1 7.6 8.5 6.2 8 8.5 5.9 8.5 8 ...
##  $ PREP: num  7.1 8 7.5 8.7 5.7 8.1 8.5 4.8 8.4 7.9 ...
##  $ FAMI: num  7.1 8 7.5 8.7 5.7 8 8.5 5.1 8.4 8.1 ...
##  $ ORAL: num  7.1 7.8 7.3 8.4 5.1 8 8.6 4.7 8.4 7.7 ...
##  $ WRIT: num  7 7.9 7.4 8.5 5.3 8 8.4 4.9 8.5 7.8 ...
##  $ PHYS: num  8.3 8.5 7.9 8.8 5.5 8.6 9.1 6.8 8.8 8.5 ...
##  $ RTEN: num  7.8 8.7 7.8 8.7 4.8 8.6 9 5 8.8 7.9 ...
y <- USJudgeRatings$CFMG
x1 <- USJudgeRatings$INTG
x2 <- USJudgeRatings$DILG
x3 <- USJudgeRatings$FAMI
x4 <- USJudgeRatings$PHYS

Eksplorasi Data

Sebaran Case flow managing (y)

hist(y, col = "light blue")

Matriks Korelasi

library(ggplot2)
library(GGally)
ggpairs(data.frame(y,x1,x2,x3,x4))

Seluruh peubah penjelas memiliki korelasi positif yang kuat terhadap Case flow managing (y)

Regresi Klasik

library(lmtest)
model<-lm(y~x1+x2+x3+x4)
summary(model)
## 
## Call:
## lm(formula = y ~ x1 + x2 + x3 + x4)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -0.35727 -0.09298 -0.00866  0.11764  0.46369 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept)  0.39949    0.34002   1.175   0.2474    
## x1          -0.15162    0.08259  -1.836   0.0742 .  
## x2           0.76699    0.12099   6.339 1.95e-07 ***
## x3           0.02608    0.12266   0.213   0.8327    
## x4           0.27725    0.06002   4.620 4.32e-05 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.196 on 38 degrees of freedom
## Multiple R-squared:  0.953,  Adjusted R-squared:  0.9481 
## F-statistic: 192.7 on 4 and 38 DF,  p-value: < 2.2e-16

Model regresi klasik ini memiliki R-squared sebesar 95.3%. Peubah yang signifikan pada taraf nyata 5% adalah \(x_2\) dan \(x_4\). \(Y=0.39949-0.15162x_1+0.76699x_2+0.02608x_3+0.27725x_4\)

Pendeteksian Multikolinieritas

library(car)
vif(model)
##        x1        x2        x3        x4 
##  4.423603 12.990897 14.815696  3.477089

Multokolinieritas terdeteksi apabila \(VIF>10\). Maka diperoleh bahwa \(x_2\) dan \(x_3\) terdeteksi mengalami multikolinieritas.

Reduksi Peubah

Tanpa \(x_2\)

model2<-lm(y~x1+x3+x4)
summary(model2)
## 
## Call:
## lm(formula = y ~ x1 + x3 + x4)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -0.51748 -0.17313 -0.01927  0.12267  0.80635 
## 
## Coefficients:
##              Estimate Std. Error t value Pr(>|t|)    
## (Intercept)  0.666857   0.477732   1.396  0.17065    
## x1          -0.006713   0.112368  -0.060  0.95267    
## x3           0.613045   0.113911   5.382 3.73e-06 ***
## x4           0.286752   0.084952   3.375  0.00168 ** 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.2775 on 39 degrees of freedom
## Multiple R-squared:  0.9033, Adjusted R-squared:  0.8959 
## F-statistic: 121.5 on 3 and 39 DF,  p-value: < 2.2e-16
vif(model2)
##       x1       x3       x4 
## 4.084726 6.373621 3.474919

Tanpa \(x_3\)

model3<-lm(y~x1+x2+x4)
summary(model3)
## 
## Call:
## lm(formula = y ~ x1 + x2 + x4)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -0.36171 -0.09494 -0.00526  0.11374  0.46648 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept)  0.37700    0.31918   1.181    0.245    
## x1          -0.14782    0.07964  -1.856    0.071 .  
## x2           0.78641    0.07838  10.034 2.33e-12 ***
## x4           0.28203    0.05496   5.131 8.27e-06 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.1936 on 39 degrees of freedom
## Multiple R-squared:  0.953,  Adjusted R-squared:  0.9494 
## F-statistic: 263.4 on 3 and 39 DF,  p-value: < 2.2e-16
vif(model3)
##       x1       x2       x4 
## 4.216453 5.588604 2.989521

Multikolinieritas berhasil ditangani dengan mereduksi peubah \(x_2\) atau \(x_3\). Diperoleh R-squared terbesar dan RSE terkecil pada model regresi tanpa peubah \(x_3\).

Asumsi

Eksploratif

sisaan <- model3$residuals
par(mfrow=c(2,2))
qqnorm(sisaan)
qqline(sisaan, col = "blue", lwd = 2)
plot(c(1:length(sisaan)),sisaan)
acf(sisaan)
pacf(sisaan)

Berdasarkan plot kuantil-kuantil normal, secara eksplorasi ditunjukkan sisaan pada pengamatan di kiri dan kanan cenderung tidak mengikuti garis. Kemudian dapat dilihat lebar pita sisaan yang cenderung sama menandakan bahwa sisaan memiliki ragam yang homogen. Plot ACF dan PACF sisaan tidak signifikan yang menandakan saling bebas. Kondisi ini akan diuji lebih lanjut dengan uji formal.

Uji Formal

#1) Sisaan Menyebar Normal
ks.test(sisaan,"pnorm")
## 
##  Exact one-sample Kolmogorov-Smirnov test
## 
## data:  sisaan
## D = 0.35879, p-value = 1.838e-05
## alternative hypothesis: two-sided

Hipotesis pada uji KS adalah sebagai berikut.

\(H_0\) : Sisaan menyebar normal

\(H_1\) : Sisaan tidak menyebar normal

Berdasarkan uji KS tersebut, didapat p-value sebesar 1.838e-05 yang lebih kecil dari taraf nyata 5% sehingga tolak \(H_0\) dan menandakan bahwa sisaan tidak menyebar normal.

#2) Sisaan saling bebas/tidak ada autokorelasi
Box.test(sisaan, type = "Ljung") 
## 
##  Box-Ljung test
## 
## data:  sisaan
## X-squared = 1.6367, df = 1, p-value = 0.2008

Selanjutnya akan dilakukan uji formal untuk kebebasan sisaan menggunakan uji Ljung-Box. Hipotesis yang digunakan adalah sebagai berikut.

\(H_0\) : Sisaan saling bebas

\(H_1\) : Sisaan tidak tidak saling bebas

Berdasarkan uji Ljung-Box tersebut, didapat p-value sebesar 0.2008 yang lebih besar dari taraf nyata 5% sehingga tak tolak \(H_0\) dan menandakan bahwa sisaan saling bebas.

#3) Sisaan homogen
Box.test((sisaan)^2, type = "Ljung") 
## 
##  Box-Ljung test
## 
## data:  (sisaan)^2
## X-squared = 1.3012, df = 1, p-value = 0.254
#tak tolak H0 > sisaan homogen

Hipotesis yang digunakan untuk uji kehomogenan ragam adalah sebagai berikut.

\(H_0\) : Ragam sisaan homogen

\(H_1\) : Ragam sisaan tidak homogen

Berdasarkan uji Ljung-Box terhadap sisaan kuadrat tersebut, didapat p-value sebesar 0.254 yang lebih besar dari taraf nyata 5% sehingga tak tolak \(H_0\) dan menandakan bahwa ragam sisaan homogen.

#4) Nilai tengah sisaan sama dengan nol
t.test(sisaan, mu = 0, conf.level = 0.95) 
## 
##  One Sample t-test
## 
## data:  sisaan
## t = -1.3562e-17, df = 42, p-value = 1
## alternative hypothesis: true mean is not equal to 0
## 95 percent confidence interval:
##  -0.0574046  0.0574046
## sample estimates:
##     mean of x 
## -3.857743e-19
#tak tolak h0 > nilai tengah sisaan sama dengan 0

Terakhir, dengan uji-t, akan dicek apakah nilai tengah sisaan sama dengan nol. Hipotesis yang diujikan sebagai berikut.

\(H_0\) : nilai tengah sisaan sama dengan 0

\(H_1\) : nilai tengah sisaan tidak sama dengan 0

Berdasarkan uji-ttersebut, didapat p-value sebesar 1 yang lebih besar dari taraf nyata 5% sehingga tak tolak \(H_0\) dan menandakan bahwa nilai tengah sisaan sama dengan nol.

Seleksi Peubah

Metode Backward

backward <- step(model3, direction="backward", scope=formula(lm(y ~ 1)), trace=1)
## Start:  AIC=-137.42
## y ~ x1 + x2 + x4
## 
##        Df Sum of Sq    RSS      AIC
## <none>              1.4613 -137.421
## - x1    1    0.1291 1.5904 -135.781
## - x4    1    0.9865 2.4478 -117.239
## - x2    1    3.7722 5.2335  -84.563
summary(backward)
## 
## Call:
## lm(formula = y ~ x1 + x2 + x4)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -0.36171 -0.09494 -0.00526  0.11374  0.46648 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept)  0.37700    0.31918   1.181    0.245    
## x1          -0.14782    0.07964  -1.856    0.071 .  
## x2           0.78641    0.07838  10.034 2.33e-12 ***
## x4           0.28203    0.05496   5.131 8.27e-06 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.1936 on 39 degrees of freedom
## Multiple R-squared:  0.953,  Adjusted R-squared:  0.9494 
## F-statistic: 263.4 on 3 and 39 DF,  p-value: < 2.2e-16

Metode Forward

forward <- step(lm(y ~ 1), direction="forward", scope=formula(model3), trace=1)
## Start:  AIC=-11.97
## y ~ 1
## 
##        Df Sum of Sq     RSS      AIC
## + x2    1    28.564  2.5076 -118.201
## + x4    1    24.034  7.0377  -73.827
## + x1    1    20.592 10.4792  -56.708
## <none>              31.0712  -11.972
## 
## Step:  AIC=-118.2
## y ~ x2
## 
##        Df Sum of Sq    RSS     AIC
## + x4    1   0.91722 1.5904 -135.78
## <none>              2.5076 -118.20
## + x1    1   0.05983 2.4478 -117.24
## 
## Step:  AIC=-135.78
## y ~ x2 + x4
## 
##        Df Sum of Sq    RSS     AIC
## + x1    1    0.1291 1.4613 -137.42
## <none>              1.5904 -135.78
## 
## Step:  AIC=-137.42
## y ~ x2 + x4 + x1
summary(forward)
## 
## Call:
## lm(formula = y ~ x2 + x4 + x1)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -0.36171 -0.09494 -0.00526  0.11374  0.46648 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept)  0.37700    0.31918   1.181    0.245    
## x2           0.78641    0.07838  10.034 2.33e-12 ***
## x4           0.28203    0.05496   5.131 8.27e-06 ***
## x1          -0.14782    0.07964  -1.856    0.071 .  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.1936 on 39 degrees of freedom
## Multiple R-squared:  0.953,  Adjusted R-squared:  0.9494 
## F-statistic: 263.4 on 3 and 39 DF,  p-value: < 2.2e-16

Metode Stepwise

stepwise <- step(lm(y ~ 1), direction="both", scope=formula(model3), trace=1)
## Start:  AIC=-11.97
## y ~ 1
## 
##        Df Sum of Sq     RSS      AIC
## + x2    1    28.564  2.5076 -118.201
## + x4    1    24.034  7.0377  -73.827
## + x1    1    20.592 10.4792  -56.708
## <none>              31.0712  -11.972
## 
## Step:  AIC=-118.2
## y ~ x2
## 
##        Df Sum of Sq     RSS      AIC
## + x4    1    0.9172  1.5904 -135.781
## <none>               2.5076 -118.201
## + x1    1    0.0598  2.4478 -117.239
## - x2    1   28.5636 31.0712  -11.972
## 
## Step:  AIC=-135.78
## y ~ x2 + x4
## 
##        Df Sum of Sq    RSS      AIC
## + x1    1    0.1291 1.4613 -137.421
## <none>              1.5904 -135.781
## - x4    1    0.9172 2.5076 -118.201
## - x2    1    5.4473 7.0377  -73.827
## 
## Step:  AIC=-137.42
## y ~ x2 + x4 + x1
## 
##        Df Sum of Sq    RSS      AIC
## <none>              1.4613 -137.421
## - x1    1    0.1291 1.5904 -135.781
## - x4    1    0.9865 2.4478 -117.239
## - x2    1    3.7722 5.2335  -84.563
summary(stepwise)
## 
## Call:
## lm(formula = y ~ x2 + x4 + x1)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -0.36171 -0.09494 -0.00526  0.11374  0.46648 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept)  0.37700    0.31918   1.181    0.245    
## x2           0.78641    0.07838  10.034 2.33e-12 ***
## x4           0.28203    0.05496   5.131 8.27e-06 ***
## x1          -0.14782    0.07964  -1.856    0.071 .  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.1936 on 39 degrees of freedom
## Multiple R-squared:  0.953,  Adjusted R-squared:  0.9494 
## F-statistic: 263.4 on 3 and 39 DF,  p-value: < 2.2e-16

Hasil seleksi peubah menggunakan metode backward, forward, dan stepwise menunjukkan hasil yang sama, yaitu menggunakan peubah \(x_1\), \(x_2\), dan, \(x_4\).

Regresi Ridge

lapply(c("glmnet","lmridge"),library,character.only=T)[[1]]
##  [1] "glmnet"    "Matrix"    "car"       "carData"   "lmtest"    "zoo"      
##  [7] "GGally"    "ggplot2"   "stats"     "graphics"  "grDevices" "utils"    
## [13] "datasets"  "methods"   "base"
x <- cbind(x1,x2,x3,x4)
cv.r<-cv.glmnet(x,y,alpha=0);plot(cv.r)

Model Terbaik

best.lr<-cv.r$lambda.min
bestridge<-glmnet(x,y,alpha=0,lambda=best.lr);coef(bestridge)
## 5 x 1 sparse Matrix of class "dgCMatrix"
##                        s0
## (Intercept)  0.4632706672
## x1          -0.0001836007
## x2           0.4424600006
## x3           0.2126649198
## x4           0.2546858523

Seluruh peubah dimasukkan dalam model.

R-squared Ridge

rsq<-function(bestmodel,bestlambda,x,y){
 #y duga
 y.duga <- predict(bestmodel, s = bestlambda, newx = x)

 #JKG dan JKT
 jkt <- sum((y - mean(y))^2)
 jkg <- sum((y.duga- y)^2)

#find R-Squared
rsq <- 1 - jkg/jkt
return(rsq) 
}
rsqridge<-rsq(bestridge,best.lr,x,y)
print(paste("R-Squared:",rsqridge))
## [1] "R-Squared: 0.941825472050274"

Residual Standard Error Ridge

# Prediksi model ridge pada data pelatihan
train_predictionsridge <- predict(bestridge,newx = x)

# Hitung residu (selisih antara prediksi dan nilai sebenarnya)
residualsridge <- y - train_predictionsridge

# Hitung varian residu
dfridge <- length(y) - length(bestridge$beta)
residual_varianceridge <- sum(residualsridge^2) / dfridge

# Hitung RSE
rseridge <- sqrt(residual_varianceridge)
print(paste("Residual Standard Error (RSE):",rseridge))
## [1] "Residual Standard Error (RSE): 0.215284559940245"

Regressi Lasso

library("glmnet")
library("lmridge")
cv.l<-cv.glmnet(x,y,alpha=1);plot(cv.l)

Model Terbaik

best.ll<-cv.l$lambda.min
bestlasso<-glmnet(x,y,alpha=1,lambda=best.ll);coef(bestlasso)
## 5 x 1 sparse Matrix of class "dgCMatrix"
##                      s0
## (Intercept)  0.32829714
## x1          -0.10362453
## x2           0.74545967
## x3           0.01002587
## x4           0.27373077

Seluruh peubah dimasukkan dalam model.

R-squared Lasso

rsqLasso<-rsq(bestlasso,best.ll,x,y)
print(paste("R-Squared:",rsqLasso))
## [1] "R-Squared: 0.952578246375302"

Residual Standard Error Lasso

# Prediksi model Lasso pada data pelatihan
train_predictionsLasso <- predict(bestlasso,newx = x)

# Hitung residu (selisih antara prediksi dan nilai sebenarnya)
residualsLasso <- y - train_predictionsLasso

# Hitung varian residu
dfLasso <- length(y) - length(bestlasso$beta)
residual_varianceLasso <- sum(residualsLasso^2) / dfLasso

# Hitung RSE
rseLasso <- sqrt(residual_varianceLasso)
print(paste("Residual Standard Error (RSE):",rseLasso))
## [1] "Residual Standard Error (RSE): 0.194372694260763"

Perbandingan Model

rsqklasik<-summary(model3)$r.squared
rseklasik<-summary(model3)$sigma
tabel <- data.frame(
  Model = c("Regresi Klasik", "Regresi Ridge", "Regresi Lasso"),
  RSquared= c(rsqklasik, rsqridge, rsqLasso),
  RSE = c(rseklasik, rseridge, rseLasso)
)

knitr::kable(tabel)
Model RSquared RSE
Regresi Klasik 0.9529699 0.1935684
Regresi Ridge 0.9418255 0.2152846
Regresi Lasso 0.9525782 0.1943727

Model regresi klasik memiliki R-Squared paling besar dan RSE paling kecil sehingga model terbaik adalah model regresi klasik.

Interpretasi Model Terbaik

\(Y=0.37700-0.14782x_1+0.78641x_2+0.28203x_4\)

0.37700: nilai rataan Case flow managing ketika seluruh peubah penjelas bernilai 0, yaitu sebesar 0.37700

\(-0.14782x_1\): Jika Judicial integrity bertambah satu satuan, Case flow managing akan turun dengan rata-rata sebesar 0.14782 dengan asumsi peubah penjelas lainnya konstan

\(0.78641x_2\): Jika Diligence bertambah satu satuan, Case flow managing akan naik dengan rata-rata sebesar 0.78641 dengan asumsi peubah penjelas lainnya konstan

\(0.28203x_4\): Jika Physical ability bertambah satu satuan, Case flow managing akan turun dengan rata-rata sebesar 0.28203 dengan asumsi peubah penjelas lainnya konstan