Business Case

Kejahatan pasti akan selalu terjadi, namun pasti ada sesuatu yang menjadi memicu seseorang untuk berbuat jahat, entah karena mereka membutuhkan uang, atau mereka tidak merasakan keadilan. oleh karena itu kita harus mengetahui dan paham alasan orang itu bisa berbuat hal jahat melalui data yang akan kita analisis. kita akan menganalisis mengenai mengapa bisa terjadi suatu kejahatan di suatu daerah.

Berdasarkan data yang ada kita akan membuat suatu model regresi linear untuk mengetahui seberapa besar kejahatan yang terjadi di suatu daerah berdasarkan variabel-variabel yang telah disediakan. yang akan kita jadikan variabel target pada kasus ini adalah Crime_Rate

Library

Mari kita gunakan library yang akan kita perlukan dalam pembuatan menganalisis sebuah data.

library(ggplot2)
library(GGally)
## Registered S3 method overwritten by 'GGally':
##   method from   
##   +.gg   ggplot2
library(dplyr)
## 
## Attaching package: 'dplyr'
## The following objects are masked from 'package:stats':
## 
##     filter, lag
## The following objects are masked from 'package:base':
## 
##     intersect, setdiff, setequal, union
library(MLmetrics)
## 
## Attaching package: 'MLmetrics'
## The following object is masked from 'package:base':
## 
##     Recall
library(performance)
library(lmtest)
## Loading required package: zoo
## 
## Attaching package: 'zoo'
## The following objects are masked from 'package:base':
## 
##     as.Date, as.Date.numeric

Load Dataset

crime <-read.csv("data_input/crime.csv") %>% select(-X)
head(crime)
names(crime) <- c("percent_m", "is_south", "mean_education", "police_exp60", "police_exp59", "labour_participation", "m_per1000f", "state_pop", "nonwhites_per1000", "unemploy_m24", "unemploy_m39", "gdp", "inequality", "prob_prison", "time_prison", "crime_rate")

Explanatory Data Analysis

str(crime)
## 'data.frame':    47 obs. of  16 variables:
##  $ percent_m           : int  151 143 142 136 141 121 127 131 157 140 ...
##  $ is_south            : int  1 0 1 0 0 0 1 1 1 0 ...
##  $ mean_education      : int  91 113 89 121 121 110 111 109 90 118 ...
##  $ police_exp60        : int  58 103 45 149 109 118 82 115 65 71 ...
##  $ police_exp59        : int  56 95 44 141 101 115 79 109 62 68 ...
##  $ labour_participation: int  510 583 533 577 591 547 519 542 553 632 ...
##  $ m_per1000f          : int  950 1012 969 994 985 964 982 969 955 1029 ...
##  $ state_pop           : int  33 13 18 157 18 25 4 50 39 7 ...
##  $ nonwhites_per1000   : int  301 102 219 80 30 44 139 179 286 15 ...
##  $ unemploy_m24        : int  108 96 94 102 91 84 97 79 81 100 ...
##  $ unemploy_m39        : int  41 36 33 39 20 29 38 35 28 24 ...
##  $ gdp                 : int  394 557 318 673 578 689 620 472 421 526 ...
##  $ inequality          : int  261 194 250 167 174 126 168 206 239 174 ...
##  $ prob_prison         : num  0.0846 0.0296 0.0834 0.0158 0.0414 ...
##  $ time_prison         : num  26.2 25.3 24.3 29.9 21.3 ...
##  $ crime_rate          : int  791 1635 578 1969 1234 682 963 1555 856 705 ...

Deskripsi kolom:

percent_m: percentage of males aged 14-24

is_south: whether it is in a Southern state. 1 for Yes, 0 for No.

mean_education: mean years of schooling

police_exp60: police expenditure in 1960

police_exp59: police expenditure in 1959

labour_participation: labour force participation rate

m_per1000f: number of males per 1000 females

state_pop: state population

nonwhites_per1000: number of non-whites resident per 1000 people

unemploy_m24: unemployment rate of urban males aged 14-24

unemploy_m39: unemployment rate of urban males aged 35-39

gdp: gross domestic product per head

inequality: income inequality

prob_prison: probability of imprisonment

time_prison: average time served in prisons

crime_rate: crime rate in an unspecified category

Setelah kita melihat struktur data tersebut ternyata ada kolom yang harus kita ubah menjadi faktor, yaitu kolom is_south. kita gunakan fungsi dari library dplyr

crime <- crime %>% 
  mutate(is_south = as.factor(is_south))

Setelah itu kita mengecek apakah data kita memiliki missing value

colSums(is.na(crime))
##            percent_m             is_south       mean_education 
##                    0                    0                    0 
##         police_exp60         police_exp59 labour_participation 
##                    0                    0                    0 
##           m_per1000f            state_pop    nonwhites_per1000 
##                    0                    0                    0 
##         unemploy_m24         unemploy_m39                  gdp 
##                    0                    0                    0 
##           inequality          prob_prison          time_prison 
##                    0                    0                    0 
##           crime_rate 
##                    0

Ternyata data kita tidak memiliki missing value, selanjutnya mari kita melihat korelasi antara variabel crime_rate dengan variabel prediktor yang lainnya

Mari kita melihat summary dari data yang akan kita analisis

summary(crime)
##    percent_m     is_south mean_education   police_exp60    police_exp59   
##  Min.   :119.0   0:31     Min.   : 87.0   Min.   : 45.0   Min.   : 41.00  
##  1st Qu.:130.0   1:16     1st Qu.: 97.5   1st Qu.: 62.5   1st Qu.: 58.50  
##  Median :136.0            Median :108.0   Median : 78.0   Median : 73.00  
##  Mean   :138.6            Mean   :105.6   Mean   : 85.0   Mean   : 80.23  
##  3rd Qu.:146.0            3rd Qu.:114.5   3rd Qu.:104.5   3rd Qu.: 97.00  
##  Max.   :177.0            Max.   :122.0   Max.   :166.0   Max.   :157.00  
##  labour_participation   m_per1000f       state_pop      nonwhites_per1000
##  Min.   :480.0        Min.   : 934.0   Min.   :  3.00   Min.   :  2.0    
##  1st Qu.:530.5        1st Qu.: 964.5   1st Qu.: 10.00   1st Qu.: 24.0    
##  Median :560.0        Median : 977.0   Median : 25.00   Median : 76.0    
##  Mean   :561.2        Mean   : 983.0   Mean   : 36.62   Mean   :101.1    
##  3rd Qu.:593.0        3rd Qu.: 992.0   3rd Qu.: 41.50   3rd Qu.:132.5    
##  Max.   :641.0        Max.   :1071.0   Max.   :168.00   Max.   :423.0    
##   unemploy_m24     unemploy_m39        gdp          inequality   
##  Min.   : 70.00   Min.   :20.00   Min.   :288.0   Min.   :126.0  
##  1st Qu.: 80.50   1st Qu.:27.50   1st Qu.:459.5   1st Qu.:165.5  
##  Median : 92.00   Median :34.00   Median :537.0   Median :176.0  
##  Mean   : 95.47   Mean   :33.98   Mean   :525.4   Mean   :194.0  
##  3rd Qu.:104.00   3rd Qu.:38.50   3rd Qu.:591.5   3rd Qu.:227.5  
##  Max.   :142.00   Max.   :58.00   Max.   :689.0   Max.   :276.0  
##   prob_prison       time_prison      crime_rate    
##  Min.   :0.00690   Min.   :12.20   Min.   : 342.0  
##  1st Qu.:0.03270   1st Qu.:21.60   1st Qu.: 658.5  
##  Median :0.04210   Median :25.80   Median : 831.0  
##  Mean   :0.04709   Mean   :26.60   Mean   : 905.1  
##  3rd Qu.:0.05445   3rd Qu.:30.45   3rd Qu.:1057.5  
##  Max.   :0.11980   Max.   :44.00   Max.   :1993.0

Selanjutnya mari kita mengecek korelasi dari setiap variabel

ggcorr(crime, hjust = 1, layout.exp = 3, label = TRUE)
## Warning in ggcorr(crime, hjust = 1, layout.exp = 3, label = TRUE): data in
## column(s) 'is_south' are not numeric and were ignored

Berikut adalah korelasi yang dihasilkan, ternyata ada 2 variabel yang memiliki korelasi yang cukup kuat yaitu police_exp59 dan police_exp60.

Model Regresi Linear

Seperti yang kita tahu terdapat 2 variabel yang memiliki korelasi yang kuat mari kita buat model dengan 2 buah variabel tersebut

model_2var <- lm(crime_rate~police_exp59 +police_exp60, crime)
summary(model_2var)
## 
## Call:
## lm(formula = crime_rate ~ police_exp59 + police_exp60, data = crime)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -636.09 -168.62   35.44  141.80  532.10 
## 
## Coefficients:
##              Estimate Std. Error t value Pr(>|t|)  
## (Intercept)    158.26     125.93   1.257   0.2155  
## police_exp59   -17.83      13.12  -1.359   0.1810  
## police_exp60    25.62      12.34   2.076   0.0438 *
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 281.3 on 44 degrees of freedom
## Multiple R-squared:  0.494,  Adjusted R-squared:  0.471 
## F-statistic: 21.48 on 2 and 44 DF,  p-value: 3.094e-07

kita mendapatkan informasi bahwa:

  1. Adjusted R-squared sebesar 0.471, jauh mendekati 1
  2. Dari coefficient: Setiap kenaikan 1 satuan pada police_exp59, mengurangi crime_rate sebesar -17.83
  3. police_exp60 menjadi variabel yang cukup signifikan sebagai variabel prediktor

Setelah itu coba kita buat model dengan menggunakan seluruh variabel prediktor yang ada

model_all <- lm(crime_rate~., crime)
summary(model_all)
## 
## Call:
## lm(formula = crime_rate ~ ., data = crime)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -395.74  -98.09   -6.69  112.99  512.67 
## 
## Coefficients:
##                        Estimate Std. Error t value Pr(>|t|)    
## (Intercept)          -5984.2876  1628.3184  -3.675 0.000893 ***
## percent_m                8.7830     4.1714   2.106 0.043443 *  
## is_south1               -3.8035   148.7551  -0.026 0.979765    
## mean_education          18.8324     6.2088   3.033 0.004861 ** 
## police_exp60            19.2804    10.6110   1.817 0.078892 .  
## police_exp59           -10.9422    11.7478  -0.931 0.358830    
## labour_participation    -0.6638     1.4697  -0.452 0.654654    
## m_per1000f               1.7407     2.0354   0.855 0.398995    
## state_pop               -0.7330     1.2896  -0.568 0.573845    
## nonwhites_per1000        0.4204     0.6481   0.649 0.521279    
## unemploy_m24            -5.8271     4.2103  -1.384 0.176238    
## unemploy_m39            16.7800     8.2336   2.038 0.050161 .  
## gdp                      0.9617     1.0367   0.928 0.360754    
## inequality               7.0672     2.2717   3.111 0.003983 ** 
## prob_prison          -4855.2658  2272.3746  -2.137 0.040627 *  
## time_prison             -3.4790     7.1653  -0.486 0.630708    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 209.1 on 31 degrees of freedom
## Multiple R-squared:  0.8031, Adjusted R-squared:  0.7078 
## F-statistic: 8.429 on 15 and 31 DF,  p-value: 3.539e-07

interpretasi: prob_prison, inequality, percent_m,mean_education merupakan prediktor yang significant untuk memprediksi variabel target dari crime_rate adjusted r-squared mendekati 1, goodness of fit model cukup baik

Mari kita membandingkan Adjusted R-squared dari model yang telah kita gunakan sebelumnya

summary(model_all)$adj.r.squared
## [1] 0.7078062
summary(model_2var)$adj.r.squared
## [1] 0.4710441

Terlihat perbedaan yang cukup besar antara model dengan menggunakan seluruh prediktor dibandingkan model yang hanya menggunakan 2 variabel yang korelasi kuat.

Sebelum kita melakukan prediksi dan evalusi sebuah model alangkah baiknya kita mencoba menggunakan Step-Wise Regression Step-Wise Regression ini membantu kita untuk mencari kombinasi prediktor yang akan menghasilkan model terbaik berdasarkan nilai AIC yang merepresentasikan banyaknya informasi hilang pada sebuah model yang akan kita bangun. kita akan menggunakan 3 pendekatan Step-Wise Regression yaitu yang pertama adalah :

1. Model Backward Elimination

model_backward <- step(object = model_all,
                       direction = "backward",
                       trace =F)
summary(model_backward)
## 
## Call:
## lm(formula = crime_rate ~ percent_m + mean_education + police_exp60 + 
##     m_per1000f + unemploy_m24 + unemploy_m39 + inequality + prob_prison, 
##     data = crime)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -444.70 -111.07    3.03  122.15  483.30 
## 
## Coefficients:
##                 Estimate Std. Error t value Pr(>|t|)    
## (Intercept)    -6426.101   1194.611  -5.379 4.04e-06 ***
## percent_m          9.332      3.350   2.786  0.00828 ** 
## mean_education    18.012      5.275   3.414  0.00153 ** 
## police_exp60      10.265      1.552   6.613 8.26e-08 ***
## m_per1000f         2.234      1.360   1.642  0.10874    
## unemploy_m24      -6.087      3.339  -1.823  0.07622 .  
## unemploy_m39      18.735      7.248   2.585  0.01371 *  
## inequality         6.133      1.396   4.394 8.63e-05 ***
## prob_prison    -3796.032   1490.646  -2.547  0.01505 *  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 195.5 on 38 degrees of freedom
## Multiple R-squared:  0.7888, Adjusted R-squared:  0.7444 
## F-statistic: 17.74 on 8 and 38 DF,  p-value: 1.159e-10

Interpretasi: Ternyata dalam penggunaan model backward menghasilkan Adjusted R-squared sebesar 0.7444 percent_m , mean_education, police_exp60, unemploy_m39, inequality, prob_prison menjadi variabel prediktor signifikan

2. Model Forward Selection

model_none <- lm(crime_rate ~ 1, data = crime)
model_forward <- step(object = model_none,
                      direction = "forward",
                      scope = list(upper= model_all),
                      trace=F)
summary(model_forward)
## 
## Call:
## lm(formula = crime_rate ~ police_exp60 + inequality + mean_education + 
##     percent_m + prob_prison + unemploy_m39, data = crime)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -470.68  -78.41  -19.68  133.12  556.23 
## 
## Coefficients:
##                 Estimate Std. Error t value Pr(>|t|)    
## (Intercept)    -5040.505    899.843  -5.602 1.72e-06 ***
## police_exp60      11.502      1.375   8.363 2.56e-10 ***
## inequality         6.765      1.394   4.855 1.88e-05 ***
## mean_education    19.647      4.475   4.390 8.07e-05 ***
## percent_m         10.502      3.330   3.154  0.00305 ** 
## prob_prison    -3801.836   1528.097  -2.488  0.01711 *  
## unemploy_m39       8.937      4.091   2.185  0.03483 *  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 200.7 on 40 degrees of freedom
## Multiple R-squared:  0.7659, Adjusted R-squared:  0.7307 
## F-statistic: 21.81 on 6 and 40 DF,  p-value: 3.418e-11

Interpretasi: Ternyata dalam penggunaan model backward menghasilkan Adjusted R-squared sebesar 0.7307
police_exp60, inequality, mean_education, percent_m, unemploy_m39, prob_prison menjadi variabel prediktor signifikan

3. Model Both

model_both <- step(object = model_none,
                      direction = "both",
                      scope = list(upper= model_all),
                      trace=F)
summary(model_both)
## 
## Call:
## lm(formula = crime_rate ~ police_exp60 + inequality + mean_education + 
##     percent_m + prob_prison + unemploy_m39, data = crime)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -470.68  -78.41  -19.68  133.12  556.23 
## 
## Coefficients:
##                 Estimate Std. Error t value Pr(>|t|)    
## (Intercept)    -5040.505    899.843  -5.602 1.72e-06 ***
## police_exp60      11.502      1.375   8.363 2.56e-10 ***
## inequality         6.765      1.394   4.855 1.88e-05 ***
## mean_education    19.647      4.475   4.390 8.07e-05 ***
## percent_m         10.502      3.330   3.154  0.00305 ** 
## prob_prison    -3801.836   1528.097  -2.488  0.01711 *  
## unemploy_m39       8.937      4.091   2.185  0.03483 *  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 200.7 on 40 degrees of freedom
## Multiple R-squared:  0.7659, Adjusted R-squared:  0.7307 
## F-statistic: 21.81 on 6 and 40 DF,  p-value: 3.418e-11

Interpretasi: Ternyata dalam penggunaan model backward menghasilkan Adjusted R-squared sebesar 0.7307
police_exp60, inequality, mean_education, percent_m, unemploy_m39, prob_prison menjadi variabel prediktor signifikan

Setelah mencoba seluruh model yang kita buat mari kita mengecek Adjusted R-squared masing masing model

summary(model_all)$adj.r.squared
## [1] 0.7078062
summary(model_backward)$adj.r.squared
## [1] 0.7443692
summary(model_forward)$adj.r.squared
## [1] 0.7307463
summary(model_both)$adj.r.squared
## [1] 0.7307463
summary(model_2var)$adj.r.squared
## [1] 0.4710441

kita mendapatkan informasi bahwa model_backward menjadi model yang memiliki Adjusted R-squared yang tinggi dibandingkan dengan model yang lain. Namun sebelum kita benar benar menggunakan model tersebut kita harus melakukan yang namanya Model Evaluation

Model Evaluation

Sebelum kita menggunakan model evaluation mari kita coba melihat performa model di data crime yang baru mari kita membuat data copyan baru

crime_copy <- crime 

crime_copy$pred_crime_backward <- predict(object = model_backward , newdata = crime_copy)
crime_copy$pred_crime_forward<- predict(object = model_forward , newdata = crime_copy)
crime_copy$pred_crime_both <- predict(object = model_both , newdata = crime_copy)
crime_copy$pred_crime2var <- predict(object = model_2var , newdata = crime_copy)
crime_copy$pred_crimeall <- predict(object = model_all , newdata = crime_copy)

crime_copy

berikut adalah prediksi berbagai nilai crime_rate, dari model yang telah kita buat

kita juga dapat membandingkan model yang telah kita buat dengan bantuan library dari Performance

comparison <- compare_performance(model_2var, model_all, model_backward, model_forward, model_both)

as.data.frame(comparison)

Kesimpulan: 1. Berdasarkan AIC , Model_backward menjadi model terbaik karena AICnya lebih kecil dari model yang lain 2. Adjusted Rsquared terbaik adalah Model_Backward 3. Model terbaik berdasarkan RMSE adalah model_all

Namun ketika kita mengecek keseluruhan jelas Model_Backward menjadi model yang akan kita gunakan. Walaupun perbedaan nilai error dengan model_all tidak terlalu besar. Selain itu variabel yang digunakan dalam model_backward sudah signifikan juga dan AIC dari model_backward juga lebih kecil.

Setelah kita menyelesaikan model evaluasi, selanjutnya kita akan masuk kedalam tahap Asumsi

Asumsi

Untuk mengetahui apakah model kita sudah baik alangkah baiknya kita mengecek terlebih dahulu menggunakan asumsi yang ada yaitu:

1. Linearitas

ggcorr(crime, label = T, hjust = 1, layout.exp = 3)
## Warning in ggcorr(crime, label = T, hjust = 1, layout.exp = 3): data in
## column(s) 'is_south' are not numeric and were ignored

2. Normalitas

hist(model_backward$residuals)

shapiro.test(model_backward$residuals)
## 
##  Shapiro-Wilk normality test
## 
## data:  model_backward$residuals
## W = 0.98511, p-value = 0.8051

Residual yang dihasilkan oleh model yang telah kita buat berdistribusi normal dikarenakan p-value lebih dari alpha maka gagal tolak h0.

3. Heteroscedasticity

plot(x = model_backward$fitted.values, y = model_backward$residuals)
abline(h = 0, col = "red") # garis horizontal di angka 0

bptest(model_backward)
## 
##  studentized Breusch-Pagan test
## 
## data:  model_backward
## BP = 13.51, df = 8, p-value = 0.09546

Untuk model_backward memiliki p-value > alpha, sehingga gagal tolak H0, yang mana error kita menyebar secara acak

4. No Multicollinearity

library(car)
## Loading required package: carData
## 
## Attaching package: 'car'
## The following object is masked from 'package:dplyr':
## 
##     recode
vif(model_backward)
##      percent_m mean_education   police_exp60     m_per1000f   unemploy_m24 
##       2.131963       4.189684       2.560496       1.932367       4.360038 
##   unemploy_m39     inequality    prob_prison 
##       4.508106       3.731074       1.381879

Dari hasil multicollinearity tidak ada nilai yang lebih dari 10, sehingga tidak ditemukan kondisi korelasi antar prediktor yang kuat. tentu saja kita tidak mengharapkan prediktor kita redundan pada sebuah model yang kita buat

Kesimpulan

Dari model yang telah kita buat, kita memlih model_backward, dikarenakan memiliki Adjusted R-Squared yang terbaik, RMSE yang tidak terlalu besar, dan memiliki kehilangan informasi yang kecil diantara model yang lain, serta memiliki beberapa variabel prediktor yang cukup signifikan seperti percent_m , mean_education, police_exp60, unemploy_m39, inequality, prob_prison. Dan juga sudah melewati tahap model evaluasi dan asumsi, yang mana semua asumsi yang telah kita buat, semuanya diterima yang berarti bahwa model kita sudah sangat baik.

Berdasarkan model yang kita buat bahwa tingkat kejahatan dalam suatu daerah dipengaruhi oleh banyaknya laki-laki yang berusia 14-24 tahun, orang yang kemungkinan dipenjara, ketimpangan pendapatan, tingkat pengangguran laki-laki perkotaan berusia 35-39, pengeluaran polisi pada tahun 1960, rata-rata orang bersekolah.

Setiap kenaikan satuan pada percent_m,mean_education, police_exp60, unemploy_m39, inequality, maka akan meningkatkan suatu kejahatan pada sautu daerah.