library(readr)
library(ggplot2)
library(MASS)
library(ggpubr)
library(stringr)
library(caret)
## Loading required package: lattice
library(dplyr)
## 
## Attaching package: 'dplyr'
## The following object is masked from 'package:MASS':
## 
##     select
## The following objects are masked from 'package:stats':
## 
##     filter, lag
## The following objects are masked from 'package:base':
## 
##     intersect, setdiff, setequal, union
library(dlookr)
## 
## Attaching package: 'dlookr'
## The following object is masked from 'package:base':
## 
##     transform
library(Hmisc)
## Loading required package: survival
## 
## Attaching package: 'survival'
## The following object is masked from 'package:caret':
## 
##     cluster
## Loading required package: Formula
## 
## Attaching package: 'Hmisc'
## The following object is masked from 'package:dlookr':
## 
##     describe
## The following objects are masked from 'package:dplyr':
## 
##     src, summarize
## The following objects are masked from 'package:base':
## 
##     format.pval, units
library(ROCR)
library(rpart)
library(rpart.plot)

Import Dataset

heartData <- read.csv("C:\\Users\\62812\\OneDrive\\Documents\\Semester 2\\UAS\\dmv\\heartData.csv", stringsAsFactors = FALSE)


head(heartData)
##   Age Sex ChestPainType RestingBP Cholesterol FastingBS RestingECG MaxHR
## 1  40   M           ATA       140         289         0     Normal   172
## 2  49   F           NAP       160         180         0     Normal   156
## 3  37   M           ATA       130         283         0         ST    98
## 4  48   F           ASY       138         214         0     Normal   108
## 5  54   M           NAP       150         195         0     Normal   122
## 6  39   M           NAP       120         339         0     Normal   170
##   ExerciseAngina Oldpeak ST_Slope HeartDisease
## 1              N     0.0       Up            0
## 2              N     1.0     Flat            1
## 3              N     0.0       Up            0
## 4              Y     1.5     Flat            1
## 5              N     0.0       Up            0
## 6              N     0.0       Up            0

EXPLANATION : Attribute Information: - Age: age of the patient [years]

No 1

A. Exploratory Data Analysis on the dataset

dim() function

dim(heartData)
## [1] 918  12

EXPLANATION : pada dataset heartData terdapat 918 baris dan 12 kolom.

sapply() function

sapply(heartData, function(x) sum(is.na(x)))
##            Age            Sex  ChestPainType      RestingBP    Cholesterol 
##              0              0              0              0              0 
##      FastingBS     RestingECG          MaxHR ExerciseAngina        Oldpeak 
##              0              0              0              0              0 
##       ST_Slope   HeartDisease 
##              0              0

EXPLANATION : tidak terdapat missing value

str() function

str(heartData)
## 'data.frame':    918 obs. of  12 variables:
##  $ Age           : int  40 49 37 48 54 39 45 54 37 48 ...
##  $ Sex           : chr  "M" "F" "M" "F" ...
##  $ ChestPainType : chr  "ATA" "NAP" "ATA" "ASY" ...
##  $ RestingBP     : int  140 160 130 138 150 120 130 110 140 120 ...
##  $ Cholesterol   : int  289 180 283 214 195 339 237 208 207 284 ...
##  $ FastingBS     : int  0 0 0 0 0 0 0 0 0 0 ...
##  $ RestingECG    : chr  "Normal" "Normal" "ST" "Normal" ...
##  $ MaxHR         : int  172 156 98 108 122 170 170 142 130 120 ...
##  $ ExerciseAngina: chr  "N" "N" "N" "Y" ...
##  $ Oldpeak       : num  0 1 0 1.5 0 0 0 0 1.5 0 ...
##  $ ST_Slope      : chr  "Up" "Flat" "Up" "Flat" ...
##  $ HeartDisease  : int  0 1 0 1 0 0 0 0 1 0 ...

EXPLANATION : dari 12 variable terdapat 6 integers, 5 characters dan 1 numeric.

diagnose_numeric(heartData)
## # A tibble: 7 × 10
##   variables      min    Q1    mean median    Q3   max  zero minus outlier
##   <chr>        <dbl> <dbl>   <dbl>  <dbl> <dbl> <dbl> <int> <int>   <int>
## 1 Age           28     47   53.5     54    60    77       0     0       0
## 2 RestingBP      0    120  132.     130   140   200       1     0      28
## 3 Cholesterol    0    173. 199.     223   267   603     172     0     183
## 4 FastingBS      0      0    0.233    0     0     1     704     0     214
## 5 MaxHR         60    120  137.     138   156   202       0     0       2
## 6 Oldpeak       -2.6    0    0.887    0.6   1.5   6.2   368    13      16
## 7 HeartDisease   0      0    0.553    1     1     1     410     0       0

EXPLANATION : terlihat pada table, kita mendapatkan informasi tentang variable, min, Q1, mean, median, Q3, max, zero, minus, dan outlier

plot_outlier(heartData)

EXPLANATION : dari visualisasi diatas, cholesterol dan oldpeak memiliki banyak outlier

ubah tipe data char ke faktor

heartData$Sex <- as.factor(heartData$Sex)
heartData$ChestPainType <- as.factor(heartData$ChestPainType)
heartData$RestingECG <- as.factor(heartData$RestingECG)
heartData$ExerciseAngina <- as.factor(heartData$ExerciseAngina)
heartData$ST_Slope <- as.factor(heartData$ST_Slope)
heartData$HeartDisease <- as.factor(heartData$HeartDisease)

Plot data

p1 <- ggplot(heartData, aes(x = Sex, fill = Sex)) + 
  geom_bar(position = "dodge")
p2 <- ggplot(heartData, aes(x = ChestPainType, fill = Sex)) + 
  geom_bar(position = "dodge")
p3 <- ggplot(heartData, aes(x = FastingBS, fill = Sex)) + 
  geom_bar(position = "dodge")
p4 <- ggplot(heartData, aes(x = RestingECG, fill = Sex)) + 
  geom_bar(position = "dodge")
p5 <- ggplot(heartData, aes(x = ST_Slope, fill = Sex)) + 
  geom_bar(position = "dodge")
  
p1

p2

p3

p4

p5

EXPLANATION : 1. dari plot1(sex) = jumlah laki laki lebih banyak dari jumlah perempuan

  1. chest pain type = jenis paling banyak ditemui pada kedua jenis kelamin adalah ASY

  2. FastingBS = jumlah yang tidak terkena lebih banyak dari yang terkena

  3. RestingBS = jumlah normal lebih banyak daripada LVH dan ST

  4. ST_Slope = jumlah flat paling banyak dari Down dan Up

table(heartData$Sex, heartData$HeartDisease)
##    
##       0   1
##   F 143  50
##   M 267 458

EXPLANATION : jumlah perempuan yang tidak terkena heart disease lebih banyak dibanding yang punya heart disease

jumlah laki yang terkena heart disease lebih banyak dibanding yang tidak terkena heart disease

ggplot(heartData, aes(x = HeartDisease, fill = Sex)) + geom_bar(position = "fill") + ylab("proportion")

EXPLANATION : jumlah laki laki yang memiliki heart disease lebih banyak dibanding jumlah perempuan

ggplot(heartData, aes(x = Cholesterol, fill = Sex)) +
  geom_density(alpha = 0.4) +
  geom_vline(aes(xintercept=mean(Cholesterol)), color = "blue", linetype = "dashed") +
  labs(title = "Cholesterol Density", x = "Cholesterol", y = "Density")

EXPLANATION : dari hasil diatas menunjukkan level cholesterol dikedua jenis kelamin paling banyak terdistribusi di angka 220, dan persebaran cholesterol diatas 200 lebih banyak perempuan.

sehingga dapat disimpulkan bahwa perempuan lebih berpeluang memiliki heart disease.

ggplot(heartData, aes(x = ExerciseAngina, fill = Sex)) + 
  geom_bar(position = "dodge")

EXPLANATION :

  • jumlah laki laki lebih banyak dari perempuan

  • dari keduanya, yang tidak terkena Angina lebih banyak dari yang terkena.

plot_correlate(heartData)
## Warning: 'plot_correlate' is deprecated.
## Use 'plot.correlate' instead.
## See help("Deprecated")

EXPLANATION : dari plot diatas, kita dapat melihat korelasi antar variabel, korelasi tertinggi dimiliki oleh Age sebesar 0.28

B. Data preparation and detail explanation

partData <- createDataPartition(heartData$HeartDisease, p=0.7, list = FALSE)
trainData = heartData[partData,]
validData = heartData[-partData,]

EXPLANATION : membagi data training dan validasi dengan proporsi 70% training, dan 30% validasi.

sapply(trainData, class)
##            Age            Sex  ChestPainType      RestingBP    Cholesterol 
##      "integer"       "factor"       "factor"      "integer"      "integer" 
##      FastingBS     RestingECG          MaxHR ExerciseAngina        Oldpeak 
##      "integer"       "factor"      "integer"       "factor"      "numeric" 
##       ST_Slope   HeartDisease 
##       "factor"       "factor"
dim(trainData)
## [1] 643  12
dim(validData)
## [1] 275  12

EXPLANATION : setelah mengexplore data, dapat disimpulkan bawha: 1. kita dapat menilai seorang pasien menderita penyakit jantung dengan melakukan pemeriksaan dan menganalisisnya berdasarkan korelasi variabel.

  1. sex, chest pain type, dan oldpeak mempengaruhi peluang seseorang terkena penyakit jantung.

  2. FastingBS,RestingBS,MaxHR, dan Resting ECG tidak terlalu pengaruh terhadap peluang seseorang terkena penyakit jantung.

C. Build the ‘best possible’ predictive model using Logistic Regression and explain your predictive model.

model1 <- glm(HeartDisease ~., family = binomial(link = "logit"), data = trainData)
summary(model1)
## 
## Call:
## glm(formula = HeartDisease ~ ., family = binomial(link = "logit"), 
##     data = trainData)
## 
## Deviance Residuals: 
##     Min       1Q   Median       3Q      Max  
## -2.6133  -0.3551   0.1630   0.4755   2.6077  
## 
## Coefficients:
##                   Estimate Std. Error z value Pr(>|z|)    
## (Intercept)      -1.175546   1.678081  -0.701 0.483596    
## Age               0.003608   0.016289   0.221 0.824724    
## SexM              1.443071   0.342414   4.214 2.50e-05 ***
## ChestPainTypeATA -1.930766   0.390575  -4.943 7.68e-07 ***
## ChestPainTypeNAP -1.865896   0.315479  -5.914 3.33e-09 ***
## ChestPainTypeTA  -1.317647   0.491095  -2.683 0.007295 ** 
## RestingBP         0.010502   0.007893   1.331 0.183297    
## Cholesterol      -0.003418   0.001252  -2.730 0.006333 ** 
## FastingBS         1.262909   0.321462   3.929 8.54e-05 ***
## RestingECGNormal -0.024528   0.317982  -0.077 0.938514    
## RestingECGST     -0.239424   0.416068  -0.575 0.564990    
## MaxHR            -0.008379   0.005908  -1.418 0.156142    
## ExerciseAnginaY   0.650025   0.291413   2.231 0.025708 *  
## Oldpeak           0.440296   0.145841   3.019 0.002536 ** 
## ST_SlopeFlat      1.761552   0.499780   3.525 0.000424 ***
## ST_SlopeUp       -0.796300   0.520660  -1.529 0.126164    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 883.97  on 642  degrees of freedom
## Residual deviance: 418.92  on 627  degrees of freedom
## AIC: 450.92
## 
## Number of Fisher Scoring iterations: 6

EXPLANATION : dari kode signifikan diatas, kita dapat melihat bawha sex, chest pain type dan Oldpeak sangat memengaruhi kemungkinan terkena penyakit jantung. maka akan saya gunakan dalam model selanjutnya

model2 <- glm(HeartDisease ~ Sex + ChestPainType +Oldpeak, family = binomial(link = "logit"), data = trainData)
summary(model2)
## 
## Call:
## glm(formula = HeartDisease ~ Sex + ChestPainType + Oldpeak, family = binomial(link = "logit"), 
##     data = trainData)
## 
## Deviance Residuals: 
##     Min       1Q   Median       3Q      Max  
## -2.4222  -0.5924   0.3149   0.7441   2.5748  
## 
## Coefficients:
##                  Estimate Std. Error z value Pr(>|z|)    
## (Intercept)       -0.6076     0.2744  -2.215 0.026793 *  
## SexM               1.4506     0.2668   5.437 5.43e-08 ***
## ChestPainTypeATA  -2.6701     0.3157  -8.458  < 2e-16 ***
## ChestPainTypeNAP  -1.7010     0.2395  -7.104 1.22e-12 ***
## ChestPainTypeTA   -1.4150     0.4229  -3.346 0.000821 ***
## Oldpeak            0.8216     0.1192   6.892 5.50e-12 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 883.97  on 642  degrees of freedom
## Residual deviance: 591.97  on 637  degrees of freedom
## AIC: 603.97
## 
## Number of Fisher Scoring iterations: 5

EXPLANATION : AIC model1 = 444.27 , AIC model2 = 581.88

Dari kedua model linier tersebut, dapat disimpulkan bahwa model pertama yang menggunakan semua kolom lebih baik dari pada 3 kolom teratas yang memiliki pengaruh tinggi terhadap kemungkinan penyakit jantung karena kita dapat melihat jumlah skor AIC model pertama lebih kecil dari pada model kedua.

Prediction

prediction_log1 <- predict(model2, trainData ,type = "response")
prediction_log2 <- predict(model2, validData ,type = "response")
predict_model1 <- prediction(prediction_log1, trainData$HeartDisease)
roc_model1 <- performance(predict_model1, measure = "tpr", x.measure = "fpr")
plot(roc_model1, main= "ROC plot model 1 (Training data)")

predict_model2 <- prediction(prediction_log2, validData$HeartDisease)
roc_model2 <- performance(predict_model2, measure = "tpr", x.measure = "fpr")
plot(roc_model2, main= "ROC plot model 2 (Validation data)")

Explanation : ROC plot saya cukup bagus, karena hampir semua plot mendekati 1 pada positive ratenya.

Check AUC

Explanation : berikut hasil plot ROC

auc <- performance(predict_model1, measure = "auc")
auc <- auc@y.values[[1]]
auc
## [1] 0.859482
auc <- performance(predict_model2, measure = "auc")
auc <- auc@y.values[[1]]
auc
## [1] 0.863313

Explanation : dengan hasil AUC diatas, artinya model logistic regretion yang saya buat dapat menilai orang yang terkena Heart Disease dengan cukup baik.

D. Assess your model and explain your results.

Explanation : dengan menggunakan HeartData ini, saya melakukan EDA untuk mengenali dan memproses data. Lalu dilanjutkan dengan memilih variable-variable yang berguna seperti: “Sex”, “ChestPainType”, dan “Oldpeak” untuk dipakai pada model logistic regression saya. Sehingga,dari hasil skor AUC diatas,dapat kita lihat bahwa model saya cukup bagus karena semua mendapatkan lebih dari 0,8. dari nilai AUC dapat disimpulkan bahwa model pertama lebih bagus dengan semua variabel. selain itu, model kedua juga cukup baik karena dengan tiga variabel dapat memberikan skor AUC lebih dari 0,8 sehingga ketiga variabel ini memiliki pengaruh yang besar terhadap kemungkinan terkena penyakit jantung. dengan begitu saya cukup yakin bahwa model logistic regression saya dapat mengklasifikasi seseorang memiliki Heart Diseasee atau tidak dengan baik.

2. Decision Tree

modelDecisionTree1 <- rpart(HeartDisease~., data = trainData, method = "class")
modelDecisionTree1
## n= 643 
## 
## node), split, n, loss, yval, (yprob)
##       * denotes terminal node
## 
##  1) root 643 287 1 (0.44634526 0.55365474)  
##    2) ST_Slope=Up 271  51 0 (0.81180812 0.18819188)  
##      4) Cholesterol>=42.5 239  29 0 (0.87866109 0.12133891)  
##        8) ChestPainType=ATA,NAP 159   4 0 (0.97484277 0.02515723) *
##        9) ChestPainType=ASY,TA 80  25 0 (0.68750000 0.31250000)  
##         18) Oldpeak< 0.6 59  11 0 (0.81355932 0.18644068) *
##         19) Oldpeak>=0.6 21   7 1 (0.33333333 0.66666667) *
##      5) Cholesterol< 42.5 32  10 1 (0.31250000 0.68750000)  
##       10) FastingBS< 0.5 17   7 0 (0.58823529 0.41176471) *
##       11) FastingBS>=0.5 15   0 1 (0.00000000 1.00000000) *
##    3) ST_Slope=Down,Flat 372  67 1 (0.18010753 0.81989247)  
##      6) ChestPainType=ATA,NAP,TA 117  45 1 (0.38461538 0.61538462)  
##       12) MaxHR>=136.5 66  30 0 (0.54545455 0.45454545)  
##         24) Age< 56.5 40  13 0 (0.67500000 0.32500000) *
##         25) Age>=56.5 26   9 1 (0.34615385 0.65384615) *
##       13) MaxHR< 136.5 51   9 1 (0.17647059 0.82352941) *
##      7) ChestPainType=ASY 255  22 1 (0.08627451 0.91372549) *
rpart.plot(modelDecisionTree1)

modelDecisionTree2 <- rpart(HeartDisease~ Age + ChestPainType + Oldpeak, data = trainData, method = "class")
modelDecisionTree2
## n= 643 
## 
## node), split, n, loss, yval, (yprob)
##       * denotes terminal node
## 
##  1) root 643 287 1 (0.4463453 0.5536547)  
##    2) ChestPainType=ATA,NAP,TA 298  84 0 (0.7181208 0.2818792)  
##      4) Age< 56.5 195  31 0 (0.8410256 0.1589744) *
##      5) Age>=56.5 103  50 1 (0.4854369 0.5145631)  
##       10) Oldpeak< 1.1 68  29 0 (0.5735294 0.4264706) *
##       11) Oldpeak>=1.1 35  11 1 (0.3142857 0.6857143) *
##    3) ChestPainType=ASY 345  73 1 (0.2115942 0.7884058) *
rpart.plot(modelDecisionTree2)

Explanation : dari decision tree diatas: 1. ST_Slope memiliki kemungkinan tertinggi seseorang untuk terkena penyakit jantung, kemudian ada cholesterol dan chest pain type.

  1. chest pain type memiliki tingkat tertinggi dalam pengklasifikasian kemudian ada oldpeak.
mdt1 <- modelDecisionTree1$variable.importance
mdt2 <- modelDecisionTree2$variable.importance

mdt1
##       ST_Slope        Oldpeak  ChestPainType          MaxHR ExerciseAngina 
##    125.1278033     69.6030980     57.4955521     43.5868966     41.4719861 
##            Age    Cholesterol      FastingBS      RestingBP     RestingECG 
##     21.7717177     21.3704794      5.5147059      2.3881380      1.7080963 
##            Sex 
##      0.7352941
mdt2
## ChestPainType           Age       Oldpeak 
##      83.53560      23.19024      22.93058

EXPLANATION : data diatas menunjukkan variabel penting dalam model pohon keputusan. variabel penting decision tree model pertama adalah ST_SLope, Oldpeak, dan chest pain type.

pada decision tree model 2, ternyata chest pain type lah yang sangat mempengaruhi seseorang kemungkinan terkena penyakit jantung.

Data_prediction1 <- predict(modelDecisionTree1, validData, type = "class")
#Data_prediction2 <- predict(modelDecisionTree2, validData, type = "Class")

Confusion Matrix

confussion <- table(Data_prediction1, validData$HeartDisease)
confussion
##                 
## Data_prediction1   0   1
##                0  99  25
##                1  24 127

EXPLANATION : Berikut adalah confusion matrix dari model decision tree. Dengan threshold yang ditetapkan kita mendapatkan hasil:

100 data diklasifikasikan benar tidak memiliki Heart Disease (True Negative (00))

25 data diklasifikasikan (False Negative (10))

16 data diklasifikasikan (False Positive (01))

134 data diklasifikasikan benar memiliki Heart Disease (True Positive (11))

accuracy <- sum(diag(confussion))/sum(confussion)
accuracy*100
## [1] 82.18182

EXPLANATION : didapat tingkat akurasi dari model decision tree sebesar 85.09%,berarti performa decision tree yang dibuat sedikit lebih rendah dari akurasi logistic regression yang dibuat sebelumnya.