1. Raziskovalno vprašanje: Ali so v času Titanika moški, ki so potovali bili enakih starosti kot ženske?

1.1 Podatki

Podatki so pridobljeni iz spletne strani Kaggle na naslovu: https://www.kaggle.com/datasets/marouandaghmoumi/titanic-dataset.
Podatkovna zbirka zajema podatke potnikov na krovu RMS Titanik, ki je potonil leta 1912, po trčenju v ledeno goro. Nabor podatkov vsebuje naslednje spremenljivke:

  • PassengerId: Edinstven identifikator, dodeljen vsakemu potniku.
  • Survived: Binarna spremenljivka, ki označuje, ali je potnik preživel (1) ali ni preživel (0).
  • Pclass (Razred potnika): Razred vozovnice potnika, ki je lahko 1. razred (1), 2. razred (2) ali 3. razred (3).
  • Name: Ime potnika.
  • Sex: Spol potnika (moški ali ženska).
  • Age: Starost potnika v letih. Lahko vsebuje manjkajoče vrednosti.
  • SibSp: Število sorojencev ali zakoncev, ki jih je potnik imel na Titaniku.
  • Parch: Število staršev ali otrok, ki jih je potnik imel na Titaniku.
  • Ticket: Številka vozovnice.
  • Fare: Znesek denarja, ki ga je potnik plačal za vozovnico.
  • Cabin: Številka kabine, kjer je potnik bival. Lahko vsebuje manjkajoče vrednosti.
  • Embarked: Pristanišče, v katerem je potnik vkrcal na Titanik.

Podatke najprej preberemo iz CSV tipa, ter jih izpišemo.

if(!require(readr)) install.packages("readr") # preverimo, če je paket readr naložen, če ni ga naložimo
## Loading required package: readr
library(readr)

titanicRaw <- read.csv2("./archive/titanic.csv",
                         header = TRUE,
                         sep = ";",
                         dec = ".")

titanicRaw$age <- gsub(",", ".", titanicRaw$age) # zamenjamo "," v "." v stolpcu age, da lako pretvorimo v številske vrednosti
titanicRaw$age <- as.numeric(titanicRaw$age) # pretvorimo v številske vrednosti

head(titanicRaw, 4)
##   pclass survived                                 name    sex     age sibsp
## 1      1        1        Allen, Miss. Elisabeth Walton female 29.0000     0
## 2      1        1       Allison, Master. Hudson Trevor   male  0.9167     1
## 3      1        0         Allison, Miss. Helen Loraine female  2.0000     1
## 4      1        0 Allison, Mr. Hudson Joshua Creighton   male 30.0000     1
##   parch ticket     fare   cabin embarked boat body
## 1     0  24160 211,3375      B5        S    2   NA
## 2     2 113781 151,5500 C22 C26        S   11   NA
## 3     2 113781 151,5500 C22 C26        S        NA
## 4     2 113781 151,5500 C22 C26        S       135
##                         home.dest
## 1                    St Louis, MO
## 2 Montreal, PQ / Chesterville, ON
## 3 Montreal, PQ / Chesterville, ON
## 4 Montreal, PQ / Chesterville, ON

Podatki vsebujejo veliko spremenljivk, ki niso potrebne za zastavljeno hipotezo. Zaradi tega odstranimo nepotrebne spremenljive, nato naredimo še faktorizacijo spola (sex), saj je kategorična spremenljivka. Poleg tega lahko opazimo, da je spremenljivka sex uvožena kot chr, kar pomeni da je ne tretira kot številke in jo je potrebno spremeniti v številsko.
Pri pretvorbi starosti v številsko opazimo, da določene vrednosti manjkajo, kar pomeni da je potrebno odstraniti vse manjkajoče vrednosti (NA). Pri čiščenju praznih vrednosti, smo odstranili 264 vnosov.
Enota je posamezen potnik ladje titanik.
Spremenljivke pa so: - spol potnika ladje Titanik in - starost potnika ladje Titank.

# Obdrzimo samo sex in age
titanic <- subset(titanicRaw,
                   select = c("sex", "age"))

# Naredimo faktorizacijo spola (sex)
titanic$sex <- factor(titanic$sex,
                   levels = c("male", "female"),
                   labels = c("M", "F"))
nrow(titanic) # Stevilo vrstic pred odstranitvijo NA vrednosti
## [1] 1310
# Odstranimo manjkajoče vrednosti
titanic <- na.omit(titanic)
nrow(titanic) # Stevilo vrstic po odstranitvi NA vrednosti
## [1] 1046

1.2 Analiza

Opisna statistika

Opisno statistiko naredimo s pomočjo funkcije describeBy(), ki je del paketa psych v programu R. Ta funkcija nam omogoča opisno statistiko za določene skupine podatkov. V tem primeru nam naredi opisno statistiko za starost (age) ločeno za vsak spol (Sex) posebej.

library(psych)

# Opišemo za vsak spol posebej
describeBy(titanic$age,
           g = titanic$sex) # Za locevanje izbremo spremenljivko Sex
## 
##  Descriptive statistics by group 
## group: M
##    vars   n  mean    sd median trimmed   mad  min max range skew kurtosis   se
## X1    1 658 30.59 14.28     28   29.97 11.86 0.33  80 79.67 0.47     0.28 0.56
## ------------------------------------------------------------ 
## group: F
##    vars   n  mean    sd median trimmed   mad  min max range skew kurtosis   se
## X1    1 388 28.69 14.58     27   28.31 13.34 0.17  76 75.83 0.32    -0.15 0.74

V vzorcu imamo 658 moških in 388 žensk. Povprečna starost moških je 30,59 let, žensk pa 28,69. Standardni odklon pri moških potnikih je 14,28, pri ženskah pa 14,58. Najstarejši moški potnik je bil star 80 let, najstarejša ženska pa 76 let. Mediana starosti je pri potnikih 28 let, kar pomeni, da je polovica moških stara do vključno 28 let. Mediana starosti pri potnicah pa je 27 let, kar pomeni, da je pri ženskah polovica stara do vključno 27 let.

if(!require(ggplot2)) install.packages("ggplot2")
## Loading required package: ggplot2
## 
## Attaching package: 'ggplot2'
## The following objects are masked from 'package:psych':
## 
##     %+%, alpha
library(ggplot2)

ggplot(titanic, aes(y = age, x = sex)) +
        geom_boxplot() +
        ylab("Starost") +
        xlab("Spol") +
        ggtitle("Graf kvantilov starosti potnikov Titanika ločeno za potnike in potnice")

Na zgoraj prikazanem grafu kvantilov lahko vidimo, da so prvi kvartil, mediana in tretji kvartil vsi rahlo večji pri potnikih Titanika kot pri potnicah. Na grafu lahko opazimo da imajo moški nekaj osamelcov med vrednostmi 65 in 80 let. Pri ženskah pa je le en primer potnice osamelec pri vrednosti 76 let. Ker so to podatki starosti iz vzorca, teh osamelcev ne odstranimo.

Normalnost

if(!require(rstatix)) install.packages("rstatix")
## Loading required package: rstatix
## 
## Attaching package: 'rstatix'
## The following object is masked from 'package:stats':
## 
##     filter
library(rstatix)

# Shapiro-Wilk test
titanic %>%
        group_by(sex) %>%
        shapiro_test(age)
## # A tibble: 2 × 4
##   sex   variable statistic             p
##   <fct> <chr>        <dbl>         <dbl>
## 1 M     age          0.975 0.00000000466
## 2 F     age          0.982 0.0000766

Shapiro-Wilkov test normalnosti nam v tem primeru ne podaja dobrih rezultatov, ker imamo velik vzorec (več od 150). Zato v naslednjem sklopu poskusimo narediti test normalnosti s pomočjo grafičnega prikaza.

if(!require(ggplot2)) install.packages("ggplot2")
if(!require(ggpubr)) install.packages("ggpubr")
## Loading required package: ggpubr
library(ggplot2)
library(ggpubr)

titanic_M <- ggplot(subset(titanic, sex == "M"), aes(x = age)) +
        theme_linedraw() +
        geom_histogram(
                fill="blue",
                color="black") +
        ylab("Frekvenca") +
        xlab("Potniki") +
        ggtitle("Porazdelitev starosti potnikov")

titanic_F <- ggplot(subset(titanic, sex == "F"), aes(x = age)) +
        theme_linedraw() + 
        geom_histogram(
                fill="pink",
                color="black") +
        ylab("Frekvenca") +
        xlab("Potnice") +
        ggtitle("Porazdelitev starosti potnic")

ggarrange(titanic_M, titanic_F,
          ncol = 2,
          nrow = 1)
## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.
## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

Iz grafov razberemo, da se nam porazdelitvi zdita približno normalni, saj imamo vzorec velik 1046.

Parametrični test (T test)

# T test
t.test(titanic$age ~ titanic$sex,
       paired = FALSE,
       var.equal = FALSE,
       alternative = "two.sided")
## 
##  Welch Two Sample t-test
## 
## data:  titanic$age by titanic$sex
## t = 2.0497, df = 798.36, p-value = 0.04072
## alternative hypothesis: true difference in means between group M and group F is not equal to 0
## 95 percent confidence interval:
##  0.08036699 3.71595773
## sample estimates:
## mean in group M mean in group F 
##        30.58523        28.68707
  • H0: μM = μF
  • H1: μM \(\neq\) μF
if(!require(effectsize)) install.packages("effectsize")
## Loading required package: effectsize
## 
## Attaching package: 'effectsize'
## The following objects are masked from 'package:rstatix':
## 
##     cohens_d, eta_squared
## The following object is masked from 'package:psych':
## 
##     phi
library(effectsize)

effectsize::cohens_d(titanic$age ~ titanic$sex,
                     pooled_sd = FALSE)
## Cohen's d |       95% CI
## ------------------------
## 0.13      | [0.01, 0.26]
## 
## - Estimated using un-pooled SD.
interpret_cohens_d(0.13, rules = "sawilowsky2009")
## [1] "very small"
## (Rules: sawilowsky2009)

Neparametrični test (Wilcoxonov preizkus vsot rangov)

wilcoxTest <- wilcox.test(titanic$age ~ titanic$sex,
            paired = FALSE,
            correct = FALSE,
            exact = FALSE,
            alternative = "two.sided")

print(wilcoxTest)
## 
##  Wilcoxon rank sum test
## 
## data:  titanic$age by titanic$sex
## W = 137266, p-value = 0.04159
## alternative hypothesis: true location shift is not equal to 0
  • H0: Lokaciji porazdelitev starosti potnikov Titanika sta pri moških in ženskah enaki
  • H1: Lokaciji porazdelitev starosti potnikov Titanika sta pri moških in ženskah različni
library(effectsize)
effectsize(wilcoxTest)
## r (rank biserial) |       95% CI
## --------------------------------
## 0.08              | [0.00, 0.15]
interpret_rank_biserial(0.08)
## [1] "very small"
## (Rules: funder2019)

1.3 Ugotovitve

Ker imamo velik vzorec (1046) enot nam Shapiro-Wilkov test zaradi občutljivosti lahko zazna tudi najmanjša odstopanja od normalnosti. To lahko povzroči, da test napačno pokaže kot, da podatki niso normalno porazdeljeni. Zato je potrebno normalnost določiti s pomočjo grafa. Iz grafa histogramov porazdelitve starosti potnikov in potnic lahko predvidevamo na normalnost. Spremenljivka, ki jo preučujemo je številska, gre pa se za preizkus skupin saj podatki pripadajo enotam iz dveh različnih skupin. Pri analizi z grafom kvantilov je možno opaziti potencialne osamelce, zaradi česar je boljše uporabiti neparametrični preizkus.

Kot neparametrični test se je uporabil Wilcoxonov preizkus vsot rangov, pri katerem pa lahko zavrnemo H0 pri p<(\(\alpha\)=0,05) in sprejmemo H1, kar pomeni da so lokacije porazdelitev starosti potnikov Titanika pri moških in ženskah različni.

Na podlagi vzorčnih podatkov smo ugotovili, da so v času Titanika moški, ki so potovali z ladjami razlikujejo v starosti od žensk, ki so potovale z ladjami (p = 0,040). Razllika v v porazdelitvi starosti je zelo majhna.


2. Raziskovalno vprašanje: Kako starost, spol, število otrok in indeks telesne mase vplivajo na velikost zavarovalne premije osebe.

2.1 Podatki

Podatki so bili pridobljeni s spletne strani Kaggle na naslovu: https://www.kaggle.com/datasets/joebeachcapital/medical-insurance-costs.
Podatkovna zbirka zajema podatke o predvidenih cenah zavarovanj 1338 ljudi. Nabor podatkov vsebuje naslednje spremenljivke:

  • sex: Spol zavarovanca.
  • age: Starost osebe.
  • bmi: Indeks telesne mase osebe.
  • children: Število staršev ali otrok, ki jih je potnik imel na Titaniku.
  • smoker: Ali je oseba kadilec.
  • region: Regija v kateri oseba živi znotraj ZDA.
  • charges: Predvidena cena zavarovanja.
insuranceRaw <- read.csv2("./archive/insurance.csv",
                         header = TRUE,
                         sep = ",",
                         dec = ".")
insuranceRaw <- na.omit(insuranceRaw)
head(insuranceRaw, 5)
##   age    sex    bmi children smoker    region   charges
## 1  19 female 27.900        0    yes southwest 16884.924
## 2  18   male 33.770        1     no southeast  1725.552
## 3  28   male 33.000        3     no southeast  4449.462
## 4  33   male 22.705        0     no northwest 21984.471
## 5  32   male 28.880        0     no northwest  3866.855
insurance <- subset(insuranceRaw,
                   select = c("charges", "age", "sex", "bmi", "children"))

insurance$sex <- factor(insurance$sex,
                        levels = c("male", "female"),
                        labels = c("M", "F"))

2.2 Analiza

Opisna statistika

summary(insurance)
##     charges           age        sex          bmi           children    
##  Min.   : 1122   Min.   :18.00   M:676   Min.   :15.96   Min.   :0.000  
##  1st Qu.: 4740   1st Qu.:27.00   F:662   1st Qu.:26.30   1st Qu.:0.000  
##  Median : 9382   Median :39.00           Median :30.40   Median :1.000  
##  Mean   :13270   Mean   :39.21           Mean   :30.66   Mean   :1.095  
##  3rd Qu.:16640   3rd Qu.:51.00           3rd Qu.:34.69   3rd Qu.:2.000  
##  Max.   :63770   Max.   :64.00           Max.   :53.13   Max.   :5.000

Najnižja zabeležena cena zavarovanja je 1122 enot, medtem ko najvišja dosega 63770 enot. Prva četrtina vrednosti se nahaja do vključno 4740 enot, mediana je 9382 enot, kar pomeni, da polovica zbranih cen zavarovanj stane manj ali enako kot ta znesek, in tretji kvartil vrednosti je 16640 enot. Povprečna cena zavarovanja je 13270 enot.

Kar zadeva starostne skupine zavarovancev, najmlajši zavarovanec je star 18 let, najstarejši pa 64 let, z mediano 39 let in povprečjem okrog 39,21 leta.

Glede na spol je 676 moških in 662 žensk.

Povprečni indeks telesne mase (BMI) je 30,66, z mediano 30,40.

V zvezi z številom otrok, podatki kažejo, da je največje število otrok zavarovancev 5, povprečno število otrok na zavarovanca je 1.

Kadilcev je 274 zavarovancev, medtem ko je 1064 zavarovancev nekadilcev.

Te statistične vrednosti dajejo osnovni vpogled v demografske značilnosti skupine zavarovancev ter značilnosti njihovih zavarovalnih premij.

if(!require(car)) install.packages("car")
## Loading required package: car
## Loading required package: carData
## 
## Attaching package: 'car'
## The following object is masked from 'package:psych':
## 
##     logit
library(car)

scatterplotMatrix(insurance,           # Matrika razsevnih grafikonov
                  smooth = FALSE)

Kot je razvidno iz grafa ScatterplotMatrix so starost in bmi dobro povezane spremenljivke glede na ceno zavarovalnine. Spol in število otrok pa sta slabo povezani z ceno zavarovalnine.

fit <- lm(charges ~ age + sex + bmi + children,
          data = insurance)
vif(fit)
##      age      sex      bmi children 
## 1.014546 1.003152 1.014570 1.002187
mean(vif(fit))
## [1] 1.008614
insurance$StdOstanki <- round(rstandard(fit), 3) # Shranimo standardizirane ostanke
insurance$CooksD <- round(cooks.distance(fit), 3) # Shranimo Cookove razdalje

hist(insurance$StdOstanki,
     xlab = "Standardizirani ostanki",
     ylab = "Frekvenca",
     main = "Histogram standardiziranih ostankov")

Na zgornjem grafu lahko vidimo, da so pri nekaterih enotah standardizirani ostanki več kot 3, kar pomeni da so prisotni osamelci in jih je potrebno odstraniti.

# Odstranimo osamelce
insuranceClean <- insurance[insurance$StdOstanki < 3,]
fit_clean <- lm(charges ~ age + sex + bmi + children,
          data = insuranceClean)
insuranceClean$StdOstanki <- round(rstandard(fit_clean), 3) # Shranimo standardizirane ostanke
insuranceClean$CooksD <- round(cooks.distance(fit_clean), 3) # Shranimo Cookove razdalje
shapiro.test(insuranceClean$StdOstanki)
## 
##  Shapiro-Wilk normality test
## 
## data:  insuranceClean$StdOstanki
## W = 0.75082, p-value < 2.2e-16
  • H0: Standardizirani ostanki so normalno porazdeljeni
  • H1: Standardizirani ostanki niso normalno porazdeljeni

Glede na vrednosti Shapiro-Wilkovega testa bi H0 zavrnili pri p<0,001 in sprejeli H1, kar bi pomenilo, da standardizirani ostanki niso normalno porazdeljeni. Vendar pa imamo ponovno velik vzorec in je zato test lahko podal napačne vrednosti. Pri tem problemu se ponovno osredotočimo na branje histograma standardiziranih ostankov.

hist(insuranceClean$CooksD,
     xlab = "Cookove razdalje",
     ylab = "Frekvenca",
     main = "Histogram Cookovih razdalj")

Na zgornjem grafu Cookovih razdalj lahko opazimo, da ni opaziti presledkov med koši histograma in tudi nobena vrednost ni večja od 1. Kar pomeni, da nobene enote ne odstranimo.

library(car)

insuranceClean$StdOcenVred <- scale(fit_clean$fitted.values)

scatterplot(y = insuranceClean$StdOstanki,
            x = insuranceClean$StdOcenVred,
            ylab = "Standardizirani ostanki",
            xlab = "Standardizirane ocenjene vrednosti",
            boxplot = FALSE,
            regLine = FALSE,
            smooth = FALSE)

if(!require(olsrr)) install.packages("olsrr")
## Loading required package: olsrr
## 
## Attaching package: 'olsrr'
## The following object is masked from 'package:datasets':
## 
##     rivers
library(olsrr)

ols_test_breusch_pagan(fit_clean)
## 
##  Breusch Pagan Test for Heteroskedasticity
##  -----------------------------------------
##  Ho: the variance is constant            
##  Ha: the variance is not constant        
## 
##                Data                 
##  -----------------------------------
##  Response : charges 
##  Variables: fitted values of charges 
## 
##          Test Summary           
##  -------------------------------
##  DF            =    1 
##  Chi2          =    45.0098 
##  Prob > Chi2   =    1.960512e-11

Ponovno je zaradi velikega vzorca boljše gledati na graf prikaza razmerja med standardiziranimi ocenjenimi vrednostmi in standardiziranimi ostanki, kjer lahko vidimo da je homoskedastična, kar pomeni da ne bo problemov pristranskih standardnih napak.

summary(fit_clean)
## 
## Call:
## lm(formula = charges ~ age + sex + bmi + children, data = insuranceClean)
## 
## Residuals:
##    Min     1Q Median     3Q    Max 
## -13426  -6855  -4917   6353  33832 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept) -5345.01    1742.54  -3.067   0.0022 ** 
## age           241.32      21.60  11.173  < 2e-16 ***
## sexF        -1350.90     604.04  -2.236   0.0255 *  
## bmi           293.44      49.92   5.879 5.22e-09 ***
## children      575.19     250.36   2.297   0.0217 *  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 11000 on 1327 degrees of freedom
## Multiple R-squared:  0.1249, Adjusted R-squared:  0.1223 
## F-statistic: 47.36 on 4 and 1327 DF,  p-value: < 2.2e-16
sqrt(summary(fit_clean)$r.squared) # Multipli korelacijski koeficient
## [1] 0.3534571

2.3 Ugotovitve

Na podalgi predhodno narejene analize smo ugotovili sledeče:

  • Če se povprečno število let starosti spremeni za 1 leto, se pričakovana zavarovalna premija poveča v povprečju za 241,32 let (p = 0,002), ob predpostavki, da so ostale pojasnevalne spremenljivke nespremenjene.
  • Ob danih vrednostih ostalih pojasnevalnih spremenljivk imajo ženske v povprečju 1350,90 enot cenejšo zavarovalno premijo kot moški (p = 0,025).
  • Če se povprečno število indeksa telesne teže poveča za eno točko, se pričakovana zavarovalna premija poveča v povprečju za 293,44 let (p < 0,001), ob predpostavki, da so ostale pojasnevalne spremenljivke nespremenjene.
  • Če se povprečno število otrok zavarovane osebe poveča za enega otroka, se pričakovana zavarovalna premija poveča v povprečju za 575,19 let (p = 0,021), ob predpostavki, da so ostale pojasnevalne spremenljivke nespremenjene.
  • pozitivna linearna povezanost med zavarovalno premijo in uporabljenimi pojasnevalnimi spremenljivkami je šibka.