library(readr)
library(ggplot2)
library(MASS)
library(ggpubr)
library(stringr)
library(caret)
## Loading required package: lattice
library(dplyr)
##
## Attaching package: 'dplyr'
## The following object is masked from 'package:MASS':
##
## select
## The following objects are masked from 'package:stats':
##
## filter, lag
## The following objects are masked from 'package:base':
##
## intersect, setdiff, setequal, union
library(dlookr)
##
## Attaching package: 'dlookr'
## The following object is masked from 'package:base':
##
## transform
library(Hmisc)
## Loading required package: survival
##
## Attaching package: 'survival'
## The following object is masked from 'package:caret':
##
## cluster
## Loading required package: Formula
##
## Attaching package: 'Hmisc'
## The following object is masked from 'package:dlookr':
##
## describe
## The following objects are masked from 'package:dplyr':
##
## src, summarize
## The following objects are masked from 'package:base':
##
## format.pval, units
library(ROCR)
library(rpart)
library(rpart.plot)
heartData <- read.csv("C:\\Users\\62812\\OneDrive\\Documents\\Semester 2\\UAS\\dmv\\heartData.csv", stringsAsFactors = FALSE)
head(heartData)
## Age Sex ChestPainType RestingBP Cholesterol FastingBS RestingECG MaxHR
## 1 40 M ATA 140 289 0 Normal 172
## 2 49 F NAP 160 180 0 Normal 156
## 3 37 M ATA 130 283 0 ST 98
## 4 48 F ASY 138 214 0 Normal 108
## 5 54 M NAP 150 195 0 Normal 122
## 6 39 M NAP 120 339 0 Normal 170
## ExerciseAngina Oldpeak ST_Slope HeartDisease
## 1 N 0.0 Up 0
## 2 N 1.0 Flat 1
## 3 N 0.0 Up 0
## 4 Y 1.5 Flat 1
## 5 N 0.0 Up 0
## 6 N 0.0 Up 0
EXPLANATION : Attribute Information: - Age: age of the patient [years]
Sex: sex of the patient [M: Male, F: Female]
ChestPainType: chest pain type [TA: Typical Angina, ATA: Atypical Angina, NAP: - Non-Anginal Pain, ASY: Asymptomatic]
RestingBP: resting blood pressure [mm Hg]
Cholesterol: serum cholesterol [mm/dl]
FastingBS: fasting blood sugar [1: if FastingBS > 120 mg/dl, 0: otherwise]
RestingECG: resting electrocardiogram results [Normal: Normal, ST: having ST-T - wave abnormality (T wave inversions and/or ST elevation or depression of > 0.05 - mV), LVH: showing probable or definite left ventricular hypertrophy by Estes’ - criteria]
MaxHR: maximum heart rate achieved [Numeric value between 60 and 202]
ExerciseAngina: exercise-induced angina [Y: Yes, N: No]
Oldpeak: oldpeak = ST [Numeric value measured in depression]
ST_Slope: the slope of the peak exercise ST segment [Up: upsloping, Flat: flat, - Down: downsloping]
HeartDisease: output class [1: heart disease, 0: Normal]
dim(heartData)
## [1] 918 12
EXPLANATION : pada dataset heartData terdapat 918 baris dan 12 kolom.
sapply(heartData, function(x) sum(is.na(x)))
## Age Sex ChestPainType RestingBP Cholesterol
## 0 0 0 0 0
## FastingBS RestingECG MaxHR ExerciseAngina Oldpeak
## 0 0 0 0 0
## ST_Slope HeartDisease
## 0 0
EXPLANATION : tidak terdapat missing value
str(heartData)
## 'data.frame': 918 obs. of 12 variables:
## $ Age : int 40 49 37 48 54 39 45 54 37 48 ...
## $ Sex : chr "M" "F" "M" "F" ...
## $ ChestPainType : chr "ATA" "NAP" "ATA" "ASY" ...
## $ RestingBP : int 140 160 130 138 150 120 130 110 140 120 ...
## $ Cholesterol : int 289 180 283 214 195 339 237 208 207 284 ...
## $ FastingBS : int 0 0 0 0 0 0 0 0 0 0 ...
## $ RestingECG : chr "Normal" "Normal" "ST" "Normal" ...
## $ MaxHR : int 172 156 98 108 122 170 170 142 130 120 ...
## $ ExerciseAngina: chr "N" "N" "N" "Y" ...
## $ Oldpeak : num 0 1 0 1.5 0 0 0 0 1.5 0 ...
## $ ST_Slope : chr "Up" "Flat" "Up" "Flat" ...
## $ HeartDisease : int 0 1 0 1 0 0 0 0 1 0 ...
EXPLANATION : dari 12 variable terdapat 6 integers, 5 characters dan 1 numeric.
diagnose_numeric(heartData)
## # A tibble: 7 × 10
## variables min Q1 mean median Q3 max zero minus outlier
## <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <int> <int> <int>
## 1 Age 28 47 53.5 54 60 77 0 0 0
## 2 RestingBP 0 120 132. 130 140 200 1 0 28
## 3 Cholesterol 0 173. 199. 223 267 603 172 0 183
## 4 FastingBS 0 0 0.233 0 0 1 704 0 214
## 5 MaxHR 60 120 137. 138 156 202 0 0 2
## 6 Oldpeak -2.6 0 0.887 0.6 1.5 6.2 368 13 16
## 7 HeartDisease 0 0 0.553 1 1 1 410 0 0
EXPLANATION : terlihat pada table, kita mendapatkan informasi tentang variable, min, Q1, mean, median, Q3, max, zero, minus, dan outlier
plot_outlier(heartData)
EXPLANATION : dari visualisasi diatas, cholesterol dan
oldpeak memiliki banyak outlier
heartData$Sex <- as.factor(heartData$Sex)
heartData$ChestPainType <- as.factor(heartData$ChestPainType)
heartData$RestingECG <- as.factor(heartData$RestingECG)
heartData$ExerciseAngina <- as.factor(heartData$ExerciseAngina)
heartData$ST_Slope <- as.factor(heartData$ST_Slope)
heartData$HeartDisease <- as.factor(heartData$HeartDisease)
p1 <- ggplot(heartData, aes(x = Sex, fill = Sex)) +
geom_bar(position = "dodge")
p2 <- ggplot(heartData, aes(x = ChestPainType, fill = Sex)) +
geom_bar(position = "dodge")
p3 <- ggplot(heartData, aes(x = FastingBS, fill = Sex)) +
geom_bar(position = "dodge")
p4 <- ggplot(heartData, aes(x = RestingECG, fill = Sex)) +
geom_bar(position = "dodge")
p5 <- ggplot(heartData, aes(x = ST_Slope, fill = Sex)) +
geom_bar(position = "dodge")
p1
p2
p3
p4
p5
EXPLANATION : 1. dari plot1(sex) = jumlah laki laki
lebih banyak dari jumlah perempuan
chest pain type = jenis paling banyak ditemui pada kedua jenis kelamin adalah ASY
FastingBS = jumlah yang tidak terkena lebih banyak dari yang terkena
RestingBS = jumlah normal lebih banyak daripada LVH dan ST
ST_Slope = jumlah flat paling banyak dari Down dan Up
table(heartData$Sex, heartData$HeartDisease)
##
## 0 1
## F 143 50
## M 267 458
EXPLANATION : jumlah perempuan yang tidak terkena heart disease lebih banyak dibanding yang punya heart disease
jumlah laki yang terkena heart disease lebih banyak dibanding yang tidak terkena heart disease
ggplot(heartData, aes(x = HeartDisease, fill = Sex)) + geom_bar(position = "fill") + ylab("proportion")
EXPLANATION : jumlah laki laki yang memiliki heart
disease lebih banyak dibanding jumlah perempuan
ggplot(heartData, aes(x = Cholesterol, fill = Sex)) +
geom_density(alpha = 0.4) +
geom_vline(aes(xintercept=mean(Cholesterol)), color = "blue", linetype = "dashed") +
labs(title = "Cholesterol Density", x = "Cholesterol", y = "Density")
EXPLANATION : dari hasil diatas menunjukkan level
cholesterol dikedua jenis kelamin paling banyak terdistribusi di angka
220, dan persebaran cholesterol diatas 200 lebih banyak perempuan.
sehingga dapat disimpulkan bahwa perempuan lebih berpeluang memiliki heart disease.
ggplot(heartData, aes(x = ExerciseAngina, fill = Sex)) +
geom_bar(position = "dodge")
EXPLANATION :
jumlah laki laki lebih banyak dari perempuan
dari keduanya, yang tidak terkena Angina lebih banyak dari yang terkena.
plot_correlate(heartData)
## Warning: 'plot_correlate' is deprecated.
## Use 'plot.correlate' instead.
## See help("Deprecated")
EXPLANATION : dari plot diatas, kita dapat melihat
korelasi antar variabel, korelasi tertinggi dimiliki oleh Age sebesar
0.28
partData <- createDataPartition(heartData$HeartDisease, p=0.7, list = FALSE)
trainData = heartData[partData,]
validData = heartData[-partData,]
EXPLANATION : membagi data training dan validasi dengan proporsi 70% training, dan 30% validasi.
sapply(trainData, class)
## Age Sex ChestPainType RestingBP Cholesterol
## "integer" "factor" "factor" "integer" "integer"
## FastingBS RestingECG MaxHR ExerciseAngina Oldpeak
## "integer" "factor" "integer" "factor" "numeric"
## ST_Slope HeartDisease
## "factor" "factor"
dim(trainData)
## [1] 643 12
dim(validData)
## [1] 275 12
EXPLANATION : setelah mengexplore data, dapat disimpulkan bawha: 1. kita dapat menilai seorang pasien menderita penyakit jantung dengan melakukan pemeriksaan dan menganalisisnya berdasarkan korelasi variabel.
sex, chest pain type, dan oldpeak mempengaruhi peluang seseorang terkena penyakit jantung.
FastingBS,RestingBS,MaxHR, dan Resting ECG tidak terlalu pengaruh terhadap peluang seseorang terkena penyakit jantung.
model1 <- glm(HeartDisease ~., family = binomial(link = "logit"), data = trainData)
summary(model1)
##
## Call:
## glm(formula = HeartDisease ~ ., family = binomial(link = "logit"),
## data = trainData)
##
## Deviance Residuals:
## Min 1Q Median 3Q Max
## -2.6133 -0.3551 0.1630 0.4755 2.6077
##
## Coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) -1.175546 1.678081 -0.701 0.483596
## Age 0.003608 0.016289 0.221 0.824724
## SexM 1.443071 0.342414 4.214 2.50e-05 ***
## ChestPainTypeATA -1.930766 0.390575 -4.943 7.68e-07 ***
## ChestPainTypeNAP -1.865896 0.315479 -5.914 3.33e-09 ***
## ChestPainTypeTA -1.317647 0.491095 -2.683 0.007295 **
## RestingBP 0.010502 0.007893 1.331 0.183297
## Cholesterol -0.003418 0.001252 -2.730 0.006333 **
## FastingBS 1.262909 0.321462 3.929 8.54e-05 ***
## RestingECGNormal -0.024528 0.317982 -0.077 0.938514
## RestingECGST -0.239424 0.416068 -0.575 0.564990
## MaxHR -0.008379 0.005908 -1.418 0.156142
## ExerciseAnginaY 0.650025 0.291413 2.231 0.025708 *
## Oldpeak 0.440296 0.145841 3.019 0.002536 **
## ST_SlopeFlat 1.761552 0.499780 3.525 0.000424 ***
## ST_SlopeUp -0.796300 0.520660 -1.529 0.126164
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## (Dispersion parameter for binomial family taken to be 1)
##
## Null deviance: 883.97 on 642 degrees of freedom
## Residual deviance: 418.92 on 627 degrees of freedom
## AIC: 450.92
##
## Number of Fisher Scoring iterations: 6
EXPLANATION : dari kode signifikan diatas, kita dapat melihat bawha sex, chest pain type dan Oldpeak sangat memengaruhi kemungkinan terkena penyakit jantung. maka akan saya gunakan dalam model selanjutnya
model2 <- glm(HeartDisease ~ Sex + ChestPainType +Oldpeak, family = binomial(link = "logit"), data = trainData)
summary(model2)
##
## Call:
## glm(formula = HeartDisease ~ Sex + ChestPainType + Oldpeak, family = binomial(link = "logit"),
## data = trainData)
##
## Deviance Residuals:
## Min 1Q Median 3Q Max
## -2.4222 -0.5924 0.3149 0.7441 2.5748
##
## Coefficients:
## Estimate Std. Error z value Pr(>|z|)
## (Intercept) -0.6076 0.2744 -2.215 0.026793 *
## SexM 1.4506 0.2668 5.437 5.43e-08 ***
## ChestPainTypeATA -2.6701 0.3157 -8.458 < 2e-16 ***
## ChestPainTypeNAP -1.7010 0.2395 -7.104 1.22e-12 ***
## ChestPainTypeTA -1.4150 0.4229 -3.346 0.000821 ***
## Oldpeak 0.8216 0.1192 6.892 5.50e-12 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## (Dispersion parameter for binomial family taken to be 1)
##
## Null deviance: 883.97 on 642 degrees of freedom
## Residual deviance: 591.97 on 637 degrees of freedom
## AIC: 603.97
##
## Number of Fisher Scoring iterations: 5
EXPLANATION : AIC model1 = 444.27 , AIC model2 = 581.88
Dari kedua model linier tersebut, dapat disimpulkan bahwa model pertama yang menggunakan semua kolom lebih baik dari pada 3 kolom teratas yang memiliki pengaruh tinggi terhadap kemungkinan penyakit jantung karena kita dapat melihat jumlah skor AIC model pertama lebih kecil dari pada model kedua.
prediction_log1 <- predict(model2, trainData ,type = "response")
prediction_log2 <- predict(model2, validData ,type = "response")
predict_model1 <- prediction(prediction_log1, trainData$HeartDisease)
roc_model1 <- performance(predict_model1, measure = "tpr", x.measure = "fpr")
plot(roc_model1, main= "ROC plot model 1 (Training data)")
predict_model2 <- prediction(prediction_log2, validData$HeartDisease)
roc_model2 <- performance(predict_model2, measure = "tpr", x.measure = "fpr")
plot(roc_model2, main= "ROC plot model 2 (Validation data)")
Explanation : ROC plot saya cukup bagus, karena hampir
semua plot mendekati 1 pada positive ratenya.
Explanation : berikut hasil plot ROC
auc <- performance(predict_model1, measure = "auc")
auc <- auc@y.values[[1]]
auc
## [1] 0.859482
auc <- performance(predict_model2, measure = "auc")
auc <- auc@y.values[[1]]
auc
## [1] 0.863313
Explanation : dengan hasil AUC diatas, artinya model logistic regretion yang saya buat dapat menilai orang yang terkena Heart Disease dengan cukup baik.
Explanation : dengan menggunakan HeartData ini, saya melakukan EDA untuk mengenali dan memproses data. Lalu dilanjutkan dengan memilih variable-variable yang berguna seperti: “Sex”, “ChestPainType”, dan “Oldpeak” untuk dipakai pada model logistic regression saya. Sehingga,dari hasil skor AUC diatas,dapat kita lihat bahwa model saya cukup bagus karena semua mendapatkan lebih dari 0,8. dari nilai AUC dapat disimpulkan bahwa model pertama lebih bagus dengan semua variabel. selain itu, model kedua juga cukup baik karena dengan tiga variabel dapat memberikan skor AUC lebih dari 0,8 sehingga ketiga variabel ini memiliki pengaruh yang besar terhadap kemungkinan terkena penyakit jantung. dengan begitu saya cukup yakin bahwa model logistic regression saya dapat mengklasifikasi seseorang memiliki Heart Diseasee atau tidak dengan baik.
modelDecisionTree1 <- rpart(HeartDisease~., data = trainData, method = "class")
modelDecisionTree1
## n= 643
##
## node), split, n, loss, yval, (yprob)
## * denotes terminal node
##
## 1) root 643 287 1 (0.44634526 0.55365474)
## 2) ST_Slope=Up 271 51 0 (0.81180812 0.18819188)
## 4) Cholesterol>=42.5 239 29 0 (0.87866109 0.12133891)
## 8) ChestPainType=ATA,NAP 159 4 0 (0.97484277 0.02515723) *
## 9) ChestPainType=ASY,TA 80 25 0 (0.68750000 0.31250000)
## 18) Oldpeak< 0.6 59 11 0 (0.81355932 0.18644068) *
## 19) Oldpeak>=0.6 21 7 1 (0.33333333 0.66666667) *
## 5) Cholesterol< 42.5 32 10 1 (0.31250000 0.68750000)
## 10) FastingBS< 0.5 17 7 0 (0.58823529 0.41176471) *
## 11) FastingBS>=0.5 15 0 1 (0.00000000 1.00000000) *
## 3) ST_Slope=Down,Flat 372 67 1 (0.18010753 0.81989247)
## 6) ChestPainType=ATA,NAP,TA 117 45 1 (0.38461538 0.61538462)
## 12) MaxHR>=136.5 66 30 0 (0.54545455 0.45454545)
## 24) Age< 56.5 40 13 0 (0.67500000 0.32500000) *
## 25) Age>=56.5 26 9 1 (0.34615385 0.65384615) *
## 13) MaxHR< 136.5 51 9 1 (0.17647059 0.82352941) *
## 7) ChestPainType=ASY 255 22 1 (0.08627451 0.91372549) *
rpart.plot(modelDecisionTree1)
modelDecisionTree2 <- rpart(HeartDisease~ Age + ChestPainType + Oldpeak, data = trainData, method = "class")
modelDecisionTree2
## n= 643
##
## node), split, n, loss, yval, (yprob)
## * denotes terminal node
##
## 1) root 643 287 1 (0.4463453 0.5536547)
## 2) ChestPainType=ATA,NAP,TA 298 84 0 (0.7181208 0.2818792)
## 4) Age< 56.5 195 31 0 (0.8410256 0.1589744) *
## 5) Age>=56.5 103 50 1 (0.4854369 0.5145631)
## 10) Oldpeak< 1.1 68 29 0 (0.5735294 0.4264706) *
## 11) Oldpeak>=1.1 35 11 1 (0.3142857 0.6857143) *
## 3) ChestPainType=ASY 345 73 1 (0.2115942 0.7884058) *
rpart.plot(modelDecisionTree2)
Explanation : dari decision tree diatas: 1. ST_Slope memiliki kemungkinan tertinggi seseorang untuk terkena penyakit jantung, kemudian ada cholesterol dan chest pain type.
mdt1 <- modelDecisionTree1$variable.importance
mdt2 <- modelDecisionTree2$variable.importance
mdt1
## ST_Slope Oldpeak ChestPainType MaxHR ExerciseAngina
## 125.1278033 69.6030980 57.4955521 43.5868966 41.4719861
## Age Cholesterol FastingBS RestingBP RestingECG
## 21.7717177 21.3704794 5.5147059 2.3881380 1.7080963
## Sex
## 0.7352941
mdt2
## ChestPainType Age Oldpeak
## 83.53560 23.19024 22.93058
EXPLANATION : data diatas menunjukkan variabel penting dalam model pohon keputusan. variabel penting decision tree model pertama adalah ST_SLope, Oldpeak, dan chest pain type.
pada decision tree model 2, ternyata chest pain type lah yang sangat mempengaruhi seseorang kemungkinan terkena penyakit jantung.
Data_prediction1 <- predict(modelDecisionTree1, validData, type = "class")
#Data_prediction2 <- predict(modelDecisionTree2, validData, type = "Class")
confussion <- table(Data_prediction1, validData$HeartDisease)
confussion
##
## Data_prediction1 0 1
## 0 99 25
## 1 24 127
EXPLANATION : Berikut adalah confusion matrix dari model decision tree. Dengan threshold yang ditetapkan kita mendapatkan hasil:
100 data diklasifikasikan benar tidak memiliki Heart Disease (True Negative (00))
25 data diklasifikasikan (False Negative (10))
16 data diklasifikasikan (False Positive (01))
134 data diklasifikasikan benar memiliki Heart Disease (True Positive (11))
accuracy <- sum(diag(confussion))/sum(confussion)
accuracy*100
## [1] 82.18182
EXPLANATION : didapat tingkat akurasi dari model decision tree sebesar 85.09%,berarti performa decision tree yang dibuat sedikit lebih rendah dari akurasi logistic regression yang dibuat sebelumnya.