Kejahatan pasti akan selalu terjadi, namun pasti ada sesuatu yang menjadi memicu seseorang untuk berbuat jahat, entah karena mereka membutuhkan uang, atau mereka tidak merasakan keadilan. oleh karena itu kita harus mengetahui dan paham alasan orang itu bisa berbuat hal jahat melalui data yang akan kita analisis. kita akan menganalisis mengenai mengapa bisa terjadi suatu kejahatan di suatu daerah.
Berdasarkan data yang ada kita akan membuat suatu model regresi linear untuk mengetahui seberapa besar kejahatan yang terjadi di suatu daerah berdasarkan variabel-variabel yang telah disediakan. yang akan kita jadikan variabel target pada kasus ini adalah Crime_Rate
Mari kita gunakan library yang akan kita perlukan dalam pembuatan menganalisis sebuah data.
library(ggplot2)
library(GGally)## Registered S3 method overwritten by 'GGally':
## method from
## +.gg ggplot2
library(dplyr)##
## Attaching package: 'dplyr'
## The following objects are masked from 'package:stats':
##
## filter, lag
## The following objects are masked from 'package:base':
##
## intersect, setdiff, setequal, union
library(MLmetrics)##
## Attaching package: 'MLmetrics'
## The following object is masked from 'package:base':
##
## Recall
library(performance)
library(lmtest)## Loading required package: zoo
##
## Attaching package: 'zoo'
## The following objects are masked from 'package:base':
##
## as.Date, as.Date.numeric
crime <-read.csv("data_input/crime.csv") %>% select(-X)
head(crime)names(crime) <- c("percent_m", "is_south", "mean_education", "police_exp60", "police_exp59", "labour_participation", "m_per1000f", "state_pop", "nonwhites_per1000", "unemploy_m24", "unemploy_m39", "gdp", "inequality", "prob_prison", "time_prison", "crime_rate")str(crime)## 'data.frame': 47 obs. of 16 variables:
## $ percent_m : int 151 143 142 136 141 121 127 131 157 140 ...
## $ is_south : int 1 0 1 0 0 0 1 1 1 0 ...
## $ mean_education : int 91 113 89 121 121 110 111 109 90 118 ...
## $ police_exp60 : int 58 103 45 149 109 118 82 115 65 71 ...
## $ police_exp59 : int 56 95 44 141 101 115 79 109 62 68 ...
## $ labour_participation: int 510 583 533 577 591 547 519 542 553 632 ...
## $ m_per1000f : int 950 1012 969 994 985 964 982 969 955 1029 ...
## $ state_pop : int 33 13 18 157 18 25 4 50 39 7 ...
## $ nonwhites_per1000 : int 301 102 219 80 30 44 139 179 286 15 ...
## $ unemploy_m24 : int 108 96 94 102 91 84 97 79 81 100 ...
## $ unemploy_m39 : int 41 36 33 39 20 29 38 35 28 24 ...
## $ gdp : int 394 557 318 673 578 689 620 472 421 526 ...
## $ inequality : int 261 194 250 167 174 126 168 206 239 174 ...
## $ prob_prison : num 0.0846 0.0296 0.0834 0.0158 0.0414 ...
## $ time_prison : num 26.2 25.3 24.3 29.9 21.3 ...
## $ crime_rate : int 791 1635 578 1969 1234 682 963 1555 856 705 ...
Deskripsi kolom:
percent_m: percentage of males aged 14-24
is_south: whether it is in a Southern state. 1 for Yes, 0 for No.
mean_education: mean years of schooling
police_exp60: police expenditure in 1960
police_exp59: police expenditure in 1959
labour_participation: labour force participation rate
m_per1000f: number of males per 1000 females
state_pop: state population
nonwhites_per1000: number of non-whites resident per 1000 people
unemploy_m24: unemployment rate of urban males aged 14-24
unemploy_m39: unemployment rate of urban males aged 35-39
gdp: gross domestic product per head
inequality: income inequality
prob_prison: probability of imprisonment
time_prison: average time served in prisons
crime_rate: crime rate in an unspecified category
Setelah kita melihat struktur data tersebut ternyata ada kolom yang harus kita ubah menjadi faktor, yaitu kolom is_south. kita gunakan fungsi dari library dplyr
crime <- crime %>%
mutate(is_south = as.factor(is_south))Setelah itu kita mengecek apakah data kita memiliki missing value
colSums(is.na(crime))## percent_m is_south mean_education
## 0 0 0
## police_exp60 police_exp59 labour_participation
## 0 0 0
## m_per1000f state_pop nonwhites_per1000
## 0 0 0
## unemploy_m24 unemploy_m39 gdp
## 0 0 0
## inequality prob_prison time_prison
## 0 0 0
## crime_rate
## 0
Ternyata data kita tidak memiliki missing value, selanjutnya mari kita melihat korelasi antara variabel crime_rate dengan variabel prediktor yang lainnya
Mari kita melihat summary dari data yang akan kita analisis
summary(crime)## percent_m is_south mean_education police_exp60 police_exp59
## Min. :119.0 0:31 Min. : 87.0 Min. : 45.0 Min. : 41.00
## 1st Qu.:130.0 1:16 1st Qu.: 97.5 1st Qu.: 62.5 1st Qu.: 58.50
## Median :136.0 Median :108.0 Median : 78.0 Median : 73.00
## Mean :138.6 Mean :105.6 Mean : 85.0 Mean : 80.23
## 3rd Qu.:146.0 3rd Qu.:114.5 3rd Qu.:104.5 3rd Qu.: 97.00
## Max. :177.0 Max. :122.0 Max. :166.0 Max. :157.00
## labour_participation m_per1000f state_pop nonwhites_per1000
## Min. :480.0 Min. : 934.0 Min. : 3.00 Min. : 2.0
## 1st Qu.:530.5 1st Qu.: 964.5 1st Qu.: 10.00 1st Qu.: 24.0
## Median :560.0 Median : 977.0 Median : 25.00 Median : 76.0
## Mean :561.2 Mean : 983.0 Mean : 36.62 Mean :101.1
## 3rd Qu.:593.0 3rd Qu.: 992.0 3rd Qu.: 41.50 3rd Qu.:132.5
## Max. :641.0 Max. :1071.0 Max. :168.00 Max. :423.0
## unemploy_m24 unemploy_m39 gdp inequality
## Min. : 70.00 Min. :20.00 Min. :288.0 Min. :126.0
## 1st Qu.: 80.50 1st Qu.:27.50 1st Qu.:459.5 1st Qu.:165.5
## Median : 92.00 Median :34.00 Median :537.0 Median :176.0
## Mean : 95.47 Mean :33.98 Mean :525.4 Mean :194.0
## 3rd Qu.:104.00 3rd Qu.:38.50 3rd Qu.:591.5 3rd Qu.:227.5
## Max. :142.00 Max. :58.00 Max. :689.0 Max. :276.0
## prob_prison time_prison crime_rate
## Min. :0.00690 Min. :12.20 Min. : 342.0
## 1st Qu.:0.03270 1st Qu.:21.60 1st Qu.: 658.5
## Median :0.04210 Median :25.80 Median : 831.0
## Mean :0.04709 Mean :26.60 Mean : 905.1
## 3rd Qu.:0.05445 3rd Qu.:30.45 3rd Qu.:1057.5
## Max. :0.11980 Max. :44.00 Max. :1993.0
Selanjutnya mari kita mengecek korelasi dari setiap variabel
ggcorr(crime, hjust = 1, layout.exp = 3, label = TRUE)## Warning in ggcorr(crime, hjust = 1, layout.exp = 3, label = TRUE): data in
## column(s) 'is_south' are not numeric and were ignored
Berikut adalah korelasi yang dihasilkan, ternyata ada 2 variabel yang
memiliki korelasi yang cukup kuat yaitu police_exp59
dan police_exp60.
Seperti yang kita tahu terdapat 2 variabel yang memiliki korelasi yang kuat mari kita buat model dengan 2 buah variabel tersebut
model_2var <- lm(crime_rate~police_exp59 +police_exp60, crime)
summary(model_2var)##
## Call:
## lm(formula = crime_rate ~ police_exp59 + police_exp60, data = crime)
##
## Residuals:
## Min 1Q Median 3Q Max
## -636.09 -168.62 35.44 141.80 532.10
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 158.26 125.93 1.257 0.2155
## police_exp59 -17.83 13.12 -1.359 0.1810
## police_exp60 25.62 12.34 2.076 0.0438 *
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 281.3 on 44 degrees of freedom
## Multiple R-squared: 0.494, Adjusted R-squared: 0.471
## F-statistic: 21.48 on 2 and 44 DF, p-value: 3.094e-07
kita mendapatkan informasi bahwa:
Setelah itu coba kita buat model dengan menggunakan seluruh variabel prediktor yang ada
model_all <- lm(crime_rate~., crime)
summary(model_all)##
## Call:
## lm(formula = crime_rate ~ ., data = crime)
##
## Residuals:
## Min 1Q Median 3Q Max
## -395.74 -98.09 -6.69 112.99 512.67
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) -5984.2876 1628.3184 -3.675 0.000893 ***
## percent_m 8.7830 4.1714 2.106 0.043443 *
## is_south1 -3.8035 148.7551 -0.026 0.979765
## mean_education 18.8324 6.2088 3.033 0.004861 **
## police_exp60 19.2804 10.6110 1.817 0.078892 .
## police_exp59 -10.9422 11.7478 -0.931 0.358830
## labour_participation -0.6638 1.4697 -0.452 0.654654
## m_per1000f 1.7407 2.0354 0.855 0.398995
## state_pop -0.7330 1.2896 -0.568 0.573845
## nonwhites_per1000 0.4204 0.6481 0.649 0.521279
## unemploy_m24 -5.8271 4.2103 -1.384 0.176238
## unemploy_m39 16.7800 8.2336 2.038 0.050161 .
## gdp 0.9617 1.0367 0.928 0.360754
## inequality 7.0672 2.2717 3.111 0.003983 **
## prob_prison -4855.2658 2272.3746 -2.137 0.040627 *
## time_prison -3.4790 7.1653 -0.486 0.630708
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 209.1 on 31 degrees of freedom
## Multiple R-squared: 0.8031, Adjusted R-squared: 0.7078
## F-statistic: 8.429 on 15 and 31 DF, p-value: 3.539e-07
interpretasi: prob_prison, inequality, percent_m,mean_education merupakan prediktor yang significant untuk memprediksi variabel target dari crime_rate adjusted r-squared mendekati 1, goodness of fit model cukup baik
Mari kita membandingkan Adjusted R-squared dari model yang telah kita gunakan sebelumnya
summary(model_all)$adj.r.squared## [1] 0.7078062
summary(model_2var)$adj.r.squared## [1] 0.4710441
Terlihat perbedaan yang cukup besar antara model dengan menggunakan seluruh prediktor dibandingkan model yang hanya menggunakan 2 variabel yang korelasi kuat.
Sebelum kita melakukan prediksi dan evalusi sebuah model alangkah baiknya kita mencoba menggunakan Step-Wise Regression Step-Wise Regression ini membantu kita untuk mencari kombinasi prediktor yang akan menghasilkan model terbaik berdasarkan nilai AIC yang merepresentasikan banyaknya informasi hilang pada sebuah model yang akan kita bangun. kita akan menggunakan 3 pendekatan Step-Wise Regression yaitu yang pertama adalah :
model_backward <- step(object = model_all,
direction = "backward",
trace =F)
summary(model_backward)##
## Call:
## lm(formula = crime_rate ~ percent_m + mean_education + police_exp60 +
## m_per1000f + unemploy_m24 + unemploy_m39 + inequality + prob_prison,
## data = crime)
##
## Residuals:
## Min 1Q Median 3Q Max
## -444.70 -111.07 3.03 122.15 483.30
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) -6426.101 1194.611 -5.379 4.04e-06 ***
## percent_m 9.332 3.350 2.786 0.00828 **
## mean_education 18.012 5.275 3.414 0.00153 **
## police_exp60 10.265 1.552 6.613 8.26e-08 ***
## m_per1000f 2.234 1.360 1.642 0.10874
## unemploy_m24 -6.087 3.339 -1.823 0.07622 .
## unemploy_m39 18.735 7.248 2.585 0.01371 *
## inequality 6.133 1.396 4.394 8.63e-05 ***
## prob_prison -3796.032 1490.646 -2.547 0.01505 *
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 195.5 on 38 degrees of freedom
## Multiple R-squared: 0.7888, Adjusted R-squared: 0.7444
## F-statistic: 17.74 on 8 and 38 DF, p-value: 1.159e-10
Interpretasi: Ternyata dalam penggunaan model backward menghasilkan Adjusted R-squared sebesar 0.7444 percent_m , mean_education, police_exp60, unemploy_m39, inequality, prob_prison menjadi variabel prediktor signifikan
model_none <- lm(crime_rate ~ 1, data = crime)
model_forward <- step(object = model_none,
direction = "forward",
scope = list(upper= model_all),
trace=F)
summary(model_forward)##
## Call:
## lm(formula = crime_rate ~ police_exp60 + inequality + mean_education +
## percent_m + prob_prison + unemploy_m39, data = crime)
##
## Residuals:
## Min 1Q Median 3Q Max
## -470.68 -78.41 -19.68 133.12 556.23
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) -5040.505 899.843 -5.602 1.72e-06 ***
## police_exp60 11.502 1.375 8.363 2.56e-10 ***
## inequality 6.765 1.394 4.855 1.88e-05 ***
## mean_education 19.647 4.475 4.390 8.07e-05 ***
## percent_m 10.502 3.330 3.154 0.00305 **
## prob_prison -3801.836 1528.097 -2.488 0.01711 *
## unemploy_m39 8.937 4.091 2.185 0.03483 *
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 200.7 on 40 degrees of freedom
## Multiple R-squared: 0.7659, Adjusted R-squared: 0.7307
## F-statistic: 21.81 on 6 and 40 DF, p-value: 3.418e-11
Interpretasi: Ternyata dalam penggunaan model backward menghasilkan
Adjusted R-squared sebesar 0.7307
police_exp60, inequality, mean_education, percent_m, unemploy_m39,
prob_prison menjadi variabel prediktor signifikan
model_both <- step(object = model_none,
direction = "both",
scope = list(upper= model_all),
trace=F)
summary(model_both)##
## Call:
## lm(formula = crime_rate ~ police_exp60 + inequality + mean_education +
## percent_m + prob_prison + unemploy_m39, data = crime)
##
## Residuals:
## Min 1Q Median 3Q Max
## -470.68 -78.41 -19.68 133.12 556.23
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) -5040.505 899.843 -5.602 1.72e-06 ***
## police_exp60 11.502 1.375 8.363 2.56e-10 ***
## inequality 6.765 1.394 4.855 1.88e-05 ***
## mean_education 19.647 4.475 4.390 8.07e-05 ***
## percent_m 10.502 3.330 3.154 0.00305 **
## prob_prison -3801.836 1528.097 -2.488 0.01711 *
## unemploy_m39 8.937 4.091 2.185 0.03483 *
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 200.7 on 40 degrees of freedom
## Multiple R-squared: 0.7659, Adjusted R-squared: 0.7307
## F-statistic: 21.81 on 6 and 40 DF, p-value: 3.418e-11
Interpretasi: Ternyata dalam penggunaan model backward menghasilkan
Adjusted R-squared sebesar 0.7307
police_exp60, inequality, mean_education, percent_m, unemploy_m39,
prob_prison menjadi variabel prediktor signifikan
Setelah mencoba seluruh model yang kita buat mari kita mengecek Adjusted R-squared masing masing model
summary(model_all)$adj.r.squared## [1] 0.7078062
summary(model_backward)$adj.r.squared## [1] 0.7443692
summary(model_forward)$adj.r.squared## [1] 0.7307463
summary(model_both)$adj.r.squared## [1] 0.7307463
summary(model_2var)$adj.r.squared## [1] 0.4710441
kita mendapatkan informasi bahwa model_backward menjadi model yang memiliki Adjusted R-squared yang tinggi dibandingkan dengan model yang lain. Namun sebelum kita benar benar menggunakan model tersebut kita harus melakukan yang namanya Model Evaluation
Sebelum kita menggunakan model evaluation mari kita coba melihat performa model di data crime yang baru mari kita membuat data copyan baru
crime_copy <- crime
crime_copy$pred_crime_backward <- predict(object = model_backward , newdata = crime_copy)
crime_copy$pred_crime_forward<- predict(object = model_forward , newdata = crime_copy)
crime_copy$pred_crime_both <- predict(object = model_both , newdata = crime_copy)
crime_copy$pred_crime2var <- predict(object = model_2var , newdata = crime_copy)
crime_copy$pred_crimeall <- predict(object = model_all , newdata = crime_copy)
crime_copyberikut adalah prediksi berbagai nilai crime_rate, dari model yang telah kita buat
kita juga dapat membandingkan model yang telah kita buat dengan bantuan library dari Performance
comparison <- compare_performance(model_2var, model_all, model_backward, model_forward, model_both)
as.data.frame(comparison)Kesimpulan: 1. Berdasarkan AIC , Model_backward menjadi model terbaik karena AICnya lebih kecil dari model yang lain 2. Adjusted Rsquared terbaik adalah Model_Backward 3. Model terbaik berdasarkan RMSE adalah model_all
Namun ketika kita mengecek keseluruhan jelas Model_Backward menjadi model yang akan kita gunakan. Walaupun perbedaan nilai error dengan model_all tidak terlalu besar. Selain itu variabel yang digunakan dalam model_backward sudah signifikan juga dan AIC dari model_backward juga lebih kecil.
Setelah kita menyelesaikan model evaluasi, selanjutnya kita akan masuk kedalam tahap Asumsi
Untuk mengetahui apakah model kita sudah baik alangkah baiknya kita mengecek terlebih dahulu menggunakan asumsi yang ada yaitu:
ggcorr(crime, label = T, hjust = 1, layout.exp = 3)## Warning in ggcorr(crime, label = T, hjust = 1, layout.exp = 3): data in
## column(s) 'is_south' are not numeric and were ignored
hist(model_backward$residuals)shapiro.test(model_backward$residuals)##
## Shapiro-Wilk normality test
##
## data: model_backward$residuals
## W = 0.98511, p-value = 0.8051
Residual yang dihasilkan oleh model yang telah kita buat berdistribusi normal dikarenakan p-value lebih dari alpha maka gagal tolak h0.
plot(x = model_backward$fitted.values, y = model_backward$residuals)
abline(h = 0, col = "red") # garis horizontal di angka 0bptest(model_backward)##
## studentized Breusch-Pagan test
##
## data: model_backward
## BP = 13.51, df = 8, p-value = 0.09546
Untuk model_backward memiliki p-value > alpha, sehingga gagal tolak H0, yang mana error kita menyebar secara acak
library(car)## Loading required package: carData
##
## Attaching package: 'car'
## The following object is masked from 'package:dplyr':
##
## recode
vif(model_backward)## percent_m mean_education police_exp60 m_per1000f unemploy_m24
## 2.131963 4.189684 2.560496 1.932367 4.360038
## unemploy_m39 inequality prob_prison
## 4.508106 3.731074 1.381879
Dari hasil multicollinearity tidak ada nilai yang lebih dari 10, sehingga tidak ditemukan kondisi korelasi antar prediktor yang kuat. tentu saja kita tidak mengharapkan prediktor kita redundan pada sebuah model yang kita buat
Dari model yang telah kita buat, kita memlih model_backward, dikarenakan memiliki Adjusted R-Squared yang terbaik, RMSE yang tidak terlalu besar, dan memiliki kehilangan informasi yang kecil diantara model yang lain, serta memiliki beberapa variabel prediktor yang cukup signifikan seperti percent_m , mean_education, police_exp60, unemploy_m39, inequality, prob_prison. Dan juga sudah melewati tahap model evaluasi dan asumsi, yang mana semua asumsi yang telah kita buat, semuanya diterima yang berarti bahwa model kita sudah sangat baik.
Berdasarkan model yang kita buat bahwa tingkat kejahatan dalam suatu daerah dipengaruhi oleh banyaknya laki-laki yang berusia 14-24 tahun, orang yang kemungkinan dipenjara, ketimpangan pendapatan, tingkat pengangguran laki-laki perkotaan berusia 35-39, pengeluaran polisi pada tahun 1960, rata-rata orang bersekolah.
Setiap kenaikan satuan pada percent_m,mean_education, police_exp60, unemploy_m39, inequality, maka akan meningkatkan suatu kejahatan pada sautu daerah.