Podatki so pridobljeni iz spletne strani Kaggle na naslovu: https://www.kaggle.com/datasets/marouandaghmoumi/titanic-dataset.
Podatkovna zbirka zajema podatke potnikov na krovu RMS Titanik, ki je
potonil leta 1912, po trčenju v ledeno goro. Nabor podatkov vsebuje
naslednje spremenljivke:
Podatke najprej preberemo iz CSV tipa, ter jih izpišemo.
if(!require(readr)) install.packages("readr") # preverimo, če je paket readr naložen, če ni ga naložimo
## Loading required package: readr
library(readr)
titanicRaw <- read.csv2("./archive/titanic.csv",
header = TRUE,
sep = ";",
dec = ".")
titanicRaw$age <- gsub(",", ".", titanicRaw$age) # zamenjamo "," v "." v stolpcu age, da lako pretvorimo v številske vrednosti
titanicRaw$age <- as.numeric(titanicRaw$age) # pretvorimo v številske vrednosti
head(titanicRaw, 4)
## pclass survived name sex age sibsp
## 1 1 1 Allen, Miss. Elisabeth Walton female 29.0000 0
## 2 1 1 Allison, Master. Hudson Trevor male 0.9167 1
## 3 1 0 Allison, Miss. Helen Loraine female 2.0000 1
## 4 1 0 Allison, Mr. Hudson Joshua Creighton male 30.0000 1
## parch ticket fare cabin embarked boat body
## 1 0 24160 211,3375 B5 S 2 NA
## 2 2 113781 151,5500 C22 C26 S 11 NA
## 3 2 113781 151,5500 C22 C26 S NA
## 4 2 113781 151,5500 C22 C26 S 135
## home.dest
## 1 St Louis, MO
## 2 Montreal, PQ / Chesterville, ON
## 3 Montreal, PQ / Chesterville, ON
## 4 Montreal, PQ / Chesterville, ON
Podatki vsebujejo veliko spremenljivk, ki niso potrebne za
zastavljeno hipotezo. Zaradi tega odstranimo nepotrebne spremenljive,
nato naredimo še faktorizacijo spola (sex), saj je kategorična
spremenljivka. Poleg tega lahko opazimo, da je spremenljivka sex uvožena
kot chr, kar pomeni da je ne tretira kot številke in jo je
potrebno spremeniti v številsko.
Pri pretvorbi starosti v številsko opazimo, da določene vrednosti
manjkajo, kar pomeni da je potrebno odstraniti vse manjkajoče vrednosti
(NA). Pri čiščenju praznih vrednosti, smo odstranili 264 vnosov.
Enota je posamezen potnik ladje titanik.
Spremenljivke pa so: - spol potnika ladje Titanik in - starost potnika
ladje Titank.
# Obdrzimo samo sex in age
titanic <- subset(titanicRaw,
select = c("sex", "age"))
# Naredimo faktorizacijo spola (sex)
titanic$sex <- factor(titanic$sex,
levels = c("male", "female"),
labels = c("M", "F"))
nrow(titanic) # Stevilo vrstic pred odstranitvijo NA vrednosti
## [1] 1310
# Odstranimo manjkajoče vrednosti
titanic <- na.omit(titanic)
nrow(titanic) # Stevilo vrstic po odstranitvi NA vrednosti
## [1] 1046
Opisno statistiko naredimo s pomočjo funkcije describeBy(), ki je del paketa psych v programu R. Ta funkcija nam omogoča opisno statistiko za določene skupine podatkov. V tem primeru nam naredi opisno statistiko za starost (age) ločeno za vsak spol (Sex) posebej.
library(psych)
# Opišemo za vsak spol posebej
describeBy(titanic$age,
g = titanic$sex) # Za locevanje izbremo spremenljivko Sex
##
## Descriptive statistics by group
## group: M
## vars n mean sd median trimmed mad min max range skew kurtosis se
## X1 1 658 30.59 14.28 28 29.97 11.86 0.33 80 79.67 0.47 0.28 0.56
## ------------------------------------------------------------
## group: F
## vars n mean sd median trimmed mad min max range skew kurtosis se
## X1 1 388 28.69 14.58 27 28.31 13.34 0.17 76 75.83 0.32 -0.15 0.74
V vzorcu imamo 658 moških in 388 žensk. Povprečna starost moških je 30,59 let, žensk pa 28,69. Standardni odklon pri moških potnikih je 14,28, pri ženskah pa 14,58. Najstarejši moški potnik je bil star 80 let, najstarejša ženska pa 76 let. Mediana starosti je pri potnikih 28 let, kar pomeni, da je polovica moških stara do vključno 28 let. Mediana starosti pri potnicah pa je 27 let, kar pomeni, da je pri ženskah polovica stara do vključno 27 let.
if(!require(ggplot2)) install.packages("ggplot2")
## Loading required package: ggplot2
##
## Attaching package: 'ggplot2'
## The following objects are masked from 'package:psych':
##
## %+%, alpha
library(ggplot2)
ggplot(titanic, aes(y = age, x = sex)) +
geom_boxplot() +
ylab("Starost") +
xlab("Spol") +
ggtitle("Graf kvantilov starosti potnikov Titanika ločeno za potnike in potnice")
Na zgoraj prikazanem grafu kvantilov lahko vidimo, da so prvi kvartil, mediana in tretji kvartil vsi rahlo večji pri potnikih Titanika kot pri potnicah. Na grafu lahko opazimo da imajo moški nekaj osamelcov med vrednostmi 65 in 80 let. Pri ženskah pa je le en primer potnice osamelec pri vrednosti 76 let. Ker so to podatki starosti iz vzorca, teh osamelcev ne odstranimo.
if(!require(rstatix)) install.packages("rstatix")
## Loading required package: rstatix
##
## Attaching package: 'rstatix'
## The following object is masked from 'package:stats':
##
## filter
library(rstatix)
# Shapiro-Wilk test
titanic %>%
group_by(sex) %>%
shapiro_test(age)
## # A tibble: 2 × 4
## sex variable statistic p
## <fct> <chr> <dbl> <dbl>
## 1 M age 0.975 0.00000000466
## 2 F age 0.982 0.0000766
Shapiro-Wilkov test normalnosti nam v tem primeru ne podaja dobrih rezultatov, ker imamo velik vzorec (več od 150). Zato v naslednjem sklopu poskusimo narediti test normalnosti s pomočjo grafičnega prikaza.
if(!require(ggplot2)) install.packages("ggplot2")
if(!require(ggpubr)) install.packages("ggpubr")
## Loading required package: ggpubr
library(ggplot2)
library(ggpubr)
titanic_M <- ggplot(subset(titanic, sex == "M"), aes(x = age)) +
theme_linedraw() +
geom_histogram(
fill="blue",
color="black") +
ylab("Frekvenca") +
xlab("Potniki") +
ggtitle("Porazdelitev starosti potnikov")
titanic_F <- ggplot(subset(titanic, sex == "F"), aes(x = age)) +
theme_linedraw() +
geom_histogram(
fill="pink",
color="black") +
ylab("Frekvenca") +
xlab("Potnice") +
ggtitle("Porazdelitev starosti potnic")
ggarrange(titanic_M, titanic_F,
ncol = 2,
nrow = 1)
## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.
## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.
Iz grafov razberemo, da se nam porazdelitvi zdita približno normalni, saj imamo vzorec velik 1046.
# T test
t.test(titanic$age ~ titanic$sex,
paired = FALSE,
var.equal = FALSE,
alternative = "two.sided")
##
## Welch Two Sample t-test
##
## data: titanic$age by titanic$sex
## t = 2.0497, df = 798.36, p-value = 0.04072
## alternative hypothesis: true difference in means between group M and group F is not equal to 0
## 95 percent confidence interval:
## 0.08036699 3.71595773
## sample estimates:
## mean in group M mean in group F
## 30.58523 28.68707
if(!require(effectsize)) install.packages("effectsize")
## Loading required package: effectsize
##
## Attaching package: 'effectsize'
## The following objects are masked from 'package:rstatix':
##
## cohens_d, eta_squared
## The following object is masked from 'package:psych':
##
## phi
library(effectsize)
effectsize::cohens_d(titanic$age ~ titanic$sex,
pooled_sd = FALSE)
## Cohen's d | 95% CI
## ------------------------
## 0.13 | [0.01, 0.26]
##
## - Estimated using un-pooled SD.
interpret_cohens_d(0.13, rules = "sawilowsky2009")
## [1] "very small"
## (Rules: sawilowsky2009)
wilcoxTest <- wilcox.test(titanic$age ~ titanic$sex,
paired = FALSE,
correct = FALSE,
exact = FALSE,
alternative = "two.sided")
print(wilcoxTest)
##
## Wilcoxon rank sum test
##
## data: titanic$age by titanic$sex
## W = 137266, p-value = 0.04159
## alternative hypothesis: true location shift is not equal to 0
library(effectsize)
effectsize(wilcoxTest)
## r (rank biserial) | 95% CI
## --------------------------------
## 0.08 | [0.00, 0.15]
interpret_rank_biserial(0.08)
## [1] "very small"
## (Rules: funder2019)
Ker imamo velik vzorec (1046) enot nam Shapiro-Wilkov test zaradi občutljivosti lahko zazna tudi najmanjša odstopanja od normalnosti. To lahko povzroči, da test napačno pokaže kot, da podatki niso normalno porazdeljeni. Zato je potrebno normalnost določiti s pomočjo grafa. Iz grafa histogramov porazdelitve starosti potnikov in potnic lahko predvidevamo na normalnost. Spremenljivka, ki jo preučujemo je številska, gre pa se za preizkus skupin saj podatki pripadajo enotam iz dveh različnih skupin. Pri analizi z grafom kvantilov je možno opaziti potencialne osamelce, zaradi česar je boljše uporabiti neparametrični preizkus.
Kot neparametrični test se je uporabil Wilcoxonov preizkus vsot rangov, pri katerem pa lahko zavrnemo H0 pri p<(\(\alpha\)=0,05) in sprejmemo H1, kar pomeni da so lokacije porazdelitev starosti potnikov Titanika pri moških in ženskah različni.
Na podlagi vzorčnih podatkov smo ugotovili, da so v času Titanika moški, ki so potovali z ladjami razlikujejo v starosti od žensk, ki so potovale z ladjami (p = 0,040). Razllika v v porazdelitvi starosti je zelo majhna.
Podatki so bili pridobljeni s spletne strani Kaggle na naslovu: https://www.kaggle.com/datasets/joebeachcapital/medical-insurance-costs.
Podatkovna zbirka zajema podatke o predvidenih cenah zavarovanj 1338
ljudi. Nabor podatkov vsebuje naslednje spremenljivke:
insuranceRaw <- read.csv2("./archive/insurance.csv",
header = TRUE,
sep = ",",
dec = ".")
insuranceRaw <- na.omit(insuranceRaw)
head(insuranceRaw, 5)
## age sex bmi children smoker region charges
## 1 19 female 27.900 0 yes southwest 16884.924
## 2 18 male 33.770 1 no southeast 1725.552
## 3 28 male 33.000 3 no southeast 4449.462
## 4 33 male 22.705 0 no northwest 21984.471
## 5 32 male 28.880 0 no northwest 3866.855
insurance <- subset(insuranceRaw,
select = c("charges", "age", "sex", "bmi", "children"))
insurance$sex <- factor(insurance$sex,
levels = c("male", "female"),
labels = c("M", "F"))
summary(insurance)
## charges age sex bmi children
## Min. : 1122 Min. :18.00 M:676 Min. :15.96 Min. :0.000
## 1st Qu.: 4740 1st Qu.:27.00 F:662 1st Qu.:26.30 1st Qu.:0.000
## Median : 9382 Median :39.00 Median :30.40 Median :1.000
## Mean :13270 Mean :39.21 Mean :30.66 Mean :1.095
## 3rd Qu.:16640 3rd Qu.:51.00 3rd Qu.:34.69 3rd Qu.:2.000
## Max. :63770 Max. :64.00 Max. :53.13 Max. :5.000
Najnižja zabeležena cena zavarovanja je 1122 enot, medtem ko najvišja dosega 63770 enot. Prva četrtina vrednosti se nahaja do vključno 4740 enot, mediana je 9382 enot, kar pomeni, da polovica zbranih cen zavarovanj stane manj ali enako kot ta znesek, in tretji kvartil vrednosti je 16640 enot. Povprečna cena zavarovanja je 13270 enot.
Kar zadeva starostne skupine zavarovancev, najmlajši zavarovanec je star 18 let, najstarejši pa 64 let, z mediano 39 let in povprečjem okrog 39,21 leta.
Glede na spol je 676 moških in 662 žensk.
Povprečni indeks telesne mase (BMI) je 30,66, z mediano 30,40.
V zvezi z številom otrok, podatki kažejo, da je največje število otrok zavarovancev 5, povprečno število otrok na zavarovanca je 1.
Kadilcev je 274 zavarovancev, medtem ko je 1064 zavarovancev nekadilcev.
Te statistične vrednosti dajejo osnovni vpogled v demografske značilnosti skupine zavarovancev ter značilnosti njihovih zavarovalnih premij.
if(!require(car)) install.packages("car")
## Loading required package: car
## Loading required package: carData
##
## Attaching package: 'car'
## The following object is masked from 'package:psych':
##
## logit
library(car)
scatterplotMatrix(insurance, # Matrika razsevnih grafikonov
smooth = FALSE)
Kot je razvidno iz grafa ScatterplotMatrix so starost in bmi dobro povezane spremenljivke glede na ceno zavarovalnine. Spol in število otrok pa sta slabo povezani z ceno zavarovalnine.
fit <- lm(charges ~ age + sex + bmi + children,
data = insurance)
vif(fit)
## age sex bmi children
## 1.014546 1.003152 1.014570 1.002187
mean(vif(fit))
## [1] 1.008614
insurance$StdOstanki <- round(rstandard(fit), 3) # Shranimo standardizirane ostanke
insurance$CooksD <- round(cooks.distance(fit), 3) # Shranimo Cookove razdalje
hist(insurance$StdOstanki,
xlab = "Standardizirani ostanki",
ylab = "Frekvenca",
main = "Histogram standardiziranih ostankov")
Na zgornjem grafu lahko vidimo, da so pri nekaterih enotah standardizirani ostanki več kot 3, kar pomeni da so prisotni osamelci in jih je potrebno odstraniti.
# Odstranimo osamelce
insuranceClean <- insurance[insurance$StdOstanki < 3,]
fit_clean <- lm(charges ~ age + sex + bmi + children,
data = insuranceClean)
insuranceClean$StdOstanki <- round(rstandard(fit_clean), 3) # Shranimo standardizirane ostanke
insuranceClean$CooksD <- round(cooks.distance(fit_clean), 3) # Shranimo Cookove razdalje
shapiro.test(insuranceClean$StdOstanki)
##
## Shapiro-Wilk normality test
##
## data: insuranceClean$StdOstanki
## W = 0.75082, p-value < 2.2e-16
Glede na vrednosti Shapiro-Wilkovega testa bi H0 zavrnili pri p<0,001 in sprejeli H1, kar bi pomenilo, da standardizirani ostanki niso normalno porazdeljeni. Vendar pa imamo ponovno velik vzorec in je zato test lahko podal napačne vrednosti. Pri tem problemu se ponovno osredotočimo na branje histograma standardiziranih ostankov.
hist(insuranceClean$CooksD,
xlab = "Cookove razdalje",
ylab = "Frekvenca",
main = "Histogram Cookovih razdalj")
Na zgornjem grafu Cookovih razdalj lahko opazimo, da ni opaziti presledkov med koši histograma in tudi nobena vrednost ni večja od 1. Kar pomeni, da nobene enote ne odstranimo.
library(car)
insuranceClean$StdOcenVred <- scale(fit_clean$fitted.values)
scatterplot(y = insuranceClean$StdOstanki,
x = insuranceClean$StdOcenVred,
ylab = "Standardizirani ostanki",
xlab = "Standardizirane ocenjene vrednosti",
boxplot = FALSE,
regLine = FALSE,
smooth = FALSE)
if(!require(olsrr)) install.packages("olsrr")
## Loading required package: olsrr
##
## Attaching package: 'olsrr'
## The following object is masked from 'package:datasets':
##
## rivers
library(olsrr)
ols_test_breusch_pagan(fit_clean)
##
## Breusch Pagan Test for Heteroskedasticity
## -----------------------------------------
## Ho: the variance is constant
## Ha: the variance is not constant
##
## Data
## -----------------------------------
## Response : charges
## Variables: fitted values of charges
##
## Test Summary
## -------------------------------
## DF = 1
## Chi2 = 45.0098
## Prob > Chi2 = 1.960512e-11
Ponovno je zaradi velikega vzorca boljše gledati na graf prikaza razmerja med standardiziranimi ocenjenimi vrednostmi in standardiziranimi ostanki, kjer lahko vidimo da je homoskedastična, kar pomeni da ne bo problemov pristranskih standardnih napak.
summary(fit_clean)
##
## Call:
## lm(formula = charges ~ age + sex + bmi + children, data = insuranceClean)
##
## Residuals:
## Min 1Q Median 3Q Max
## -13426 -6855 -4917 6353 33832
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) -5345.01 1742.54 -3.067 0.0022 **
## age 241.32 21.60 11.173 < 2e-16 ***
## sexF -1350.90 604.04 -2.236 0.0255 *
## bmi 293.44 49.92 5.879 5.22e-09 ***
## children 575.19 250.36 2.297 0.0217 *
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 11000 on 1327 degrees of freedom
## Multiple R-squared: 0.1249, Adjusted R-squared: 0.1223
## F-statistic: 47.36 on 4 and 1327 DF, p-value: < 2.2e-16
sqrt(summary(fit_clean)$r.squared) # Multipli korelacijski koeficient
## [1] 0.3534571
Na podalgi predhodno narejene analize smo ugotovili sledeče: