Perbandingan Performa Model Regresi Klasik, Ridge, dan Lasso pada Faktor Pengaruh Rating Top Movies pada website IMDB

Input Package and Library

library(readxl)
library(corrplot)
## corrplot 0.92 loaded
library(ggplot2)
library(olsrr)
## 
## Attaching package: 'olsrr'
## The following object is masked from 'package:datasets':
## 
##     rivers
#install.packages("glmnet")
library(glmnet)
## Loading required package: Matrix
## Loaded glmnet 4.1-8
#install.packages("car")
library(car)
## Loading required package: carData

Input Data

Data yang digunakan berasal dari website Kaggle.com

data <- read_excel("/Users/ignaciatarigan/Downloads/IMDB Top Movies.xlsx")
str(data)
## tibble [100 × 5] (S3: tbl_df/tbl/data.frame)
##  $ IMDB Rating  : chr [1:100] "9.3" "9.2" "9" "9" ...
##  $ Tahun        : num [1:100] 1994 1972 2008 1974 1957 ...
##  $ Durasi       : num [1:100] 142 175 152 202 96 201 154 195 148 139 ...
##  $ Meta Score   : num [1:100] 80 100 84 90 96 94 94 94 74 66 ...
##  $ Jumlah Voting: num [1:100] 2343110 1620367 2303232 1129952 689845 ...
data$`IMDB Rating`<- as.numeric(data$`IMDB Rating`)
daftarvar <- data.frame("Peubah" = c("Y", "X1", "X2", "X3", "X4"),

"Keterangan" = c("IMDB Rating","Tahun", "Durasi","Meta Score","Jumlah Voting"),
"Penjelasan" = c("Skor penilaian film di website IMDB","Tahun film dirilis","Durasi penayangan film dalam satuan menit","Skor yang diperoleh film","Banyaknya voting/suara yang memberi penilaian"))

print(daftarvar)
##   Peubah    Keterangan                                    Penjelasan
## 1      Y   IMDB Rating           Skor penilaian film di website IMDB
## 2     X1         Tahun                            Tahun film dirilis
## 3     X2        Durasi     Durasi penayangan film dalam satuan menit
## 4     X3    Meta Score                      Skor yang diperoleh film
## 5     X4 Jumlah Voting Banyaknya voting/suara yang memberi penilaian
y <- data$`IMDB Rating`
x1<- data$Tahun
x2<- data$Durasi
x3<- data$`Meta Score`
x4<- data$`Jumlah Voting`
data1 = data.frame(y,x1,x2,x3,x4)
x <- data.matrix(data1[,c('x1', 'x2', 'x3','x4')])
head(data1)
##     y   x1  x2  x3      x4
## 1 9.3 1994 142  80 2343110
## 2 9.2 1972 175 100 1620367
## 3 9.0 2008 152  84 2303232
## 4 9.0 1974 202  90 1129952
## 5 9.0 1957  96  96  689845
## 6 8.9 2003 201  94 1642758

Eksplorasi Data

#Korelasi
data1_numeric <- data1[sapply(data1, is.numeric)]
cor_matrix <- cor(data1_numeric, use = "complete.obs")
corrplot(cor_matrix, method = "number")

#Eksplorasi Plot antara Y dengan X1
plot(data$Tahun,data$`IMDB Rating`)

#Eksplorasi Plot antara Y dengan X2
plot(data$Durasi,data$`IMDB Rating`)

#Eksplorasi Plot antara Y dengan X3
plot(data$`Meta Score`,data$`IMDB Rating`)

#Eksplorasi Plot antara Y dengan X4
plot(data$`Jumlah Voting`,data$`IMDB Rating`)

Classic Regression

modelklasik <- lm(y~x1+x2+x3+x4, data=data)
s.modelklasik <- summary(modelklasik)
s.modelklasik
## 
## Call:
## lm(formula = y ~ x1 + x2 + x3 + x4, data = data)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -0.39221 -0.11933 -0.01932  0.11272  0.54985 
## 
## Coefficients:
##               Estimate Std. Error t value Pr(>|t|)    
## (Intercept)  1.792e+01  2.447e+00   7.322 7.85e-11 ***
## x1          -5.192e-03  1.207e-03  -4.303 4.09e-05 ***
## x2           1.513e-03  6.488e-04   2.332   0.0218 *  
## x3           3.988e-03  1.694e-03   2.354   0.0206 *  
## x4           4.034e-07  3.645e-08  11.068  < 2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.1956 on 95 degrees of freedom
## Multiple R-squared:  0.6336, Adjusted R-squared:  0.6182 
## F-statistic: 41.07 on 4 and 95 DF,  p-value: < 2.2e-16

R-squared dan RSE Classic Regression

# R squared
R2.modelklasik <- s.modelklasik$r.squared
R2.modelklasik
## [1] 0.6336107
# RSE
rse.modelklasik <- s.modelklasik$sigma
rse.modelklasik
## [1] 0.1955777

Multikolonieritas

car::vif(modelklasik)
##       x1       x2       x3       x4 
## 1.225077 1.049558 1.171839 1.080923

Tidak ada multikolinieritas antar variabel karena nilai VIF<10

Regresi Ridge

x <- data.matrix(data[,c('Tahun','Durasi','Meta Score','Jumlah Voting')])
y <- data$`IMDB Rating`
cv.r<-cv.glmnet(x,y,alpha=0)

best.lr<-cv.r$lambda.min
bestridge<-glmnet(x,y,alpha=0,lambda=best.lr)
coef(bestridge)
## 5 x 1 sparse Matrix of class "dgCMatrix"
##                          s0
## (Intercept)    1.691956e+01
## Tahun         -4.680506e-03
## Durasi         1.474722e-03
## Meta Score     4.013797e-03
## Jumlah Voting  3.747384e-07

Didapatkan model regresi Ridge adalah: \[ IMDB Rating = 1.691956\times10^1-4.680506\times10^{-3}Tahun+1.474722\times10^{-3}Durasi+4.013797\times10^{-3}Meta Score+3.747384\times10^{-7}Jumlah Voting \]

R-squared dan RSE Ridge

# fungsi untuk cari rsquared
rsq<-function(bestmodel,bestlambda,x,y){
 #y duga
 y.duga <- predict(bestmodel, s = bestlambda, newx = x)

 #JKG dan JKT
 jkt <- sum((y - mean(y))^2)
 jkg <- sum((y.duga- y)^2)

#find R-Squared
rsq <- 1 - jkg/jkt
return(rsq) 
}

# R2 ridge
R2.modelridge <- rsq(bestridge,best.lr,x,y)
R2.modelridge
## [1] 0.6307294
#RSE ridge
train_predictionsr <- predict(bestridge,newx = x)
# Hitung residu (selisih antara prediksi dan nilai sebenarnya)
residualsr <- y - train_predictionsr
# Hitung varian residu
dfr <- length(y) - length(bestridge$beta)
residual_variancer <- sum(residualsr^2) / dfr
# Hitung RSE
rse.modelridge <- sqrt(residual_variancer)
rse.modelridge
## [1] 0.1953199

Regresi Lasso

cv.l<-cv.glmnet(x,y,alpha=1)
best.ll<-cv.l$lambda.min
bestlasso<-glmnet(x,y,alpha=1,lambda=best.ll)
coef(bestlasso)
## 5 x 1 sparse Matrix of class "dgCMatrix"
##                          s0
## (Intercept)    1.781187e+01
## Tahun         -5.136436e-03
## Durasi         1.486390e-03
## Meta Score     3.949490e-03
## Jumlah Voting  4.017289e-07

Didapatkan model regresi Lasso adalah: \[ IMDB Rating = 1.780182\times10^1-5.131010\times10^{-3}Tahun+1.483807\times10^{-3}Durasi+3.945756\times10^{-3}Meta Score+4.015673\times10^{-7}Jumlah Voting \]

R-squared dan RSE Lasso

#R-squared
R2.modellasso <- rsq(bestlasso,best.ll,x,y)
R2.modellasso
## [1] 0.6335816
#RSE
train_predictionsLasso <- predict(bestlasso,newx = x)
# Hitung residu (selisih antara prediksi dan nilai sebenarnya)
residualsLasso <- y - train_predictionsLasso
# Hitung varian residu
dfLasso <- length(y) - length(bestlasso$beta)
residual_varianceLasso <- sum(residualsLasso^2) / dfLasso
# Hitung RSE
rse.modelLasso <- sqrt(residual_varianceLasso)
rse.modelLasso
## [1] 0.1945642

Perbandingan Model Regresi

perbandingan <- matrix(c(R2.modelklasik, R2.modelridge, R2.modellasso, rse.modelklasik, rse.modelridge, rse.modelLasso),ncol=2,byrow = F)
row.names(perbandingan)<- c("Model klasik","model ridge","model lasso")
colnames(perbandingan) <- c("R squared","RSE")
perbandingan
##              R squared       RSE
## Model klasik 0.6336107 0.1955777
## model ridge  0.6307294 0.1953199
## model lasso  0.6335816 0.1945642

Perbandingan dengan melihat nilai RSE yang memiliki nilai terendah, maka model yang memiliki nilai RSE terendah ialah model Lasso dengan nilai \(RSE = 0.1945658\) dapat dikatakan bahwa model terbaiknya adalah model Lasso.

Model Terbaik || Model Lasso

coef(bestlasso)
## 5 x 1 sparse Matrix of class "dgCMatrix"
##                          s0
## (Intercept)    1.781187e+01
## Tahun         -5.136436e-03
## Durasi         1.486390e-03
## Meta Score     3.949490e-03
## Jumlah Voting  4.017289e-07

Didapatkan model regresi Lasso adalah: \[ IMDB Rating = 1.780182\times10^1-5.131010\times10^{-3}Tahun+1.483807\times10^{-3}Durasi+3.945756\times10^{-3}Meta Score+4.015673\times10^{-7}Jumlah Voting \]

Interpretasi Koefisien Model

IMDB Rating akan meningkat jika durasi film bernilai tinggi (berdurasi lama), meningkatnya nilai meta score juga jumlah voting. Sedangkan peubah tahun hanya berpengaruh negatif terhadap model, artinya film yang memiliki IMDB Rating tinggi adalah film-film keluaran terbaru (tahun 2000 keatas).