Analiza danych Titanic

Kategoryzacja danych

Część danych jest w postaci tekstowej i trzeba je skategoryzować. W tym celu dodajemy nowe pola w naszej tabeli: Sex2 i Embarked2:

Oto kilka pierwszych wierszy nowej tabeli titanic_calosc

Widzimy, że mamy następujące dane w nowych kolumnach

Wypełnianie braków danych w Embarked

Pole Embarked ma tylko dwa braki danych. Wynika z tego, że można Embarked wypełnić wartościami z wierwszy o zbliżonych wartościach. Najpierw sprawdzimy od czego ona najbardziej zależy Embarked.

##  Embarked2       Fare     Pclass       Sex2        Age      SibSp      Parch 
## 1.00000000 0.30310839 0.28198941 0.11599775 0.09064651 0.04836727 0.01411680

Badając korelację zmiennej Embarked z pozostałymi zmiennymi, widzimy, że zależy ona najbardziej o zmiennych: Fare, Pclass i Sex2. A zatem potrzebujemy dla cClass, Sex2 obliczyć Fare i zobaczyć który Embarked jest najbliżej. Najpierw wyświetlmy dane tych pasazerów, u których są braki danych w Embarked:

Widzimy, że są to kobiety podróżujace pierwszą klasą, a ich opłata wynosi 80. Wówczas wybieramy dane, które właśnie spełniają te warunki.

## # A tibble: 4 x 5
##   Embarked   sum count  mean median
##   <chr>    <dbl> <int> <dbl>  <dbl>
## 1 C        8442.    71  119.   83.2
## 2 Q         180      2   90    90  
## 3 S        6974.    69  101.   78.8
## 4 <NA>      160      2   80    80

Najbliżej 80 jest mediana z portu źródłowego Southampton. Możemy to jeszcze ilustrować na wykresie, gdzie czerwoną linią jest zaznaczony poziom Fare=80.

Wynika stąd, że brakujące wrtości w polu Embarked można zastąpić wartością S.

## 'data.frame':    1309 obs. of  13 variables:
##  $ PassengerId: int  1 2 3 4 5 6 7 8 9 10 ...
##  $ Survived   : int  0 1 1 1 0 0 0 0 1 1 ...
##  $ Pclass     : int  3 1 3 1 3 3 1 3 3 2 ...
##  $ Name       : chr  "Braund, Mr. Owen Harris" "Cumings, Mrs. John Bradley (Florence Briggs Thayer)" "Heikkinen, Miss. Laina" "Futrelle, Mrs. Jacques Heath (Lily May Peel)" ...
##  $ Sex        : chr  "male" "female" "female" "female" ...
##  $ Age        : num  22 38 26 35 35 NA 54 2 27 14 ...
##  $ SibSp      : int  1 1 0 1 0 0 0 3 0 1 ...
##  $ Parch      : int  0 0 0 0 0 0 0 1 2 0 ...
##  $ Ticket     : chr  "A/5 21171" "PC 17599" "STON/O2. 3101282" "113803" ...
##  $ Fare       : num  7.25 71.28 7.92 53.1 8.05 ...
##  $ Embarked   : chr  "S" "C" "S" "S" ...
##  $ Sex2       : num  2 1 1 1 2 2 2 2 1 1 ...
##  $ Embarked2  : num  3 1 3 3 3 2 3 3 3 1 ...

Wypełnianie braków danych w Age

W przypadku zmiennej Age uzupełniamy braki danych wartością średnią zmiennej Age:

Wypełnianie braków danych w Fare

Zaczynamy od wyświetlenia tej obserwacji, gdzie Fare jest NA i od sprawdzenia z czym zmienna Fare jest nabardziej skorelowana:

##      Fare    Pclass Embarked2     Parch      Sex2       Age     SibSp 
## 1.0000000 0.5586287 0.2380054 0.2215387 0.1855230 0.1718929 0.1602383

Widzimy, że zmienna Fare jest skorelowana z Pclass, Embarked2, Parch Sex2 i Age. A zatem biorąc pod uwagę, że nasz pasażer, dla którego mamy brak opłaty, podróżuje klasą 3, wyruszył z portu w Southampton, jest mężczyzną i ma 60,5 roku. A zatem szukamy pasujących danych:

## # A tibble: 6 x 5
##     Age   sum count  mean median
##   <dbl> <dbl> <int> <dbl>  <dbl>
## 1  51   22.9      3  7.62   7.75
## 2  55.5  8.05     1  8.05   8.05
## 3  59    7.25     1  7.25   7.25
## 4  60.5 NA        1 NA     NA   
## 5  61    6.24     1  6.24   6.24
## 6  74    7.78     1  7.78   7.78

Można przypuszczać że osoby w tym wieku średnio płaciły między 6.24 a 7.25 funtów. Możemy w takim razie przyjąć średnią z tych dwóch wartości. Różnica między 6.24 a 7.25 jest zbyt mała, aby mieć istotny wpływ w porównaniu do całego obszaru cen (od 0 do 512, gdzie średnia to 33 a mediana to 14).

Ostatecznies nasze zestawienie brakujących wartości wygląda następujaco

##   PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Embarked
## 1           0      418      0    0   0   0     0     0      0    0        0
##   Sex2 Embarked2
## 1    0         0

Nowe kategorie tytułów

Na podtawie danych tytułów, tworzymy cztery nowe kategorie: Miss, Mrs, Mr, Other

## # A tibble: 18 x 2
##    Title      cnt
##    <chr>    <int>
##  1 Mr         757
##  2 Miss       260
##  3 Mrs        197
##  4 Master      61
##  5 Dr           8
##  6 Rev          8
##  7 Col          4
##  8 Major        2
##  9 Mlle         2
## 10 Ms           2
## 11 Capt         1
## 12 Don          1
## 13 Dona         1
## 14 Jonkheer     1
## 15 Lady         1
## 16 Mme          1
## 17 Sir          1
## 18 the          1

## # A tibble: 5 x 2
##   Title2   cnt
##   <chr>  <int>
## 1 Mr       757
## 2 Miss     260
## 3 Mrs      197
## 4 Master    61
## 5 Other     34

Po obróbce mamy tabelę do dalszej analizy

Ile osób przeżyło (1), a ile nie przeżyło (0):

## 
##   0   1 
## 549 342

Na podstawie wykresu widać, że szanse na przeżycie były małe.

Ile jest kobiet, a ile mężczyzn:

## 
## female   male 
##    466    843

### Ile osób wsiadło w każdym porcie

## 
##   C   Q   S 
## 270 123 916

### Ile osób podróżowało samych, a ile z rodziną:

## 
##   0   1   2   3   4   5   8 
## 891 319  42  20  22   6   9

## 
##    0    1    2    3    4    5    6    9 
## 1002  170  113    8    6    6    2    2

Ile osób było w każdej klasie

## 
##   1   2   3 
## 323 277 709

Najwięcej osób podróżowało w 3 klasie.

Osoby z 3 klasy są najmłodsze i rozrzut jest najmniejszy ze wszystkich. 50% osób w pierwszej klasie znajduje się między 30 a 50 rokiem życia

Histogram zmiennej Age

## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

Analiza przeżycia - związek zmiennej Survived z pozostałymi

Zwizualizujmy, jak wskaźniki przeżycia różniły się w zależności od płci.

Czy przeżyło więcej mężczyzn czy kobiet?

## 
## female   male 
##    466    843

W oparciu o powyższy wykres, kobiety miały większe szanse na przeżycie.

Sprawdźmy zależność przeżycia w odniesieniu do wieku

## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

Dzieci poniżej 5 lat miały większe szanse na przeżycie. Pasażerowie w wieku 20-40 lat byli bardziej narażeni na śmierć. Pasażerowie w wieku około 65 - 75 lat mieli prawie zerowe szanse na przeżycie. Przeżył jeden pasażer w wieku 80 lat. Pasażerowie, którzy przeżyli wydają się mieć niższą medianę wieku.

Sprawdźmy współczynnik przeżycia według klasy pasażerskiej.

Przeżyło najwiecej osób, którzy kupili bilet w klasie pierwszej.

Zbadamy, jak różne zmienne oddziaływały na siebie i na wskaźnik przeżycia.

Kobiety we wszystkich klasach miały większe szanse na przeżycie w porównaniu do mężczyzn.

## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

W danych dotyczących Titanica, wiek, płeć i klasa pasażerów były ważnymi czynnikami predykcyjnymi przeżycia. Najwięcej umarło mężczyzn w 3 klasie w wieku między 18 a 50 rokiem życia.

Spojrzymy jeszcze na korelacje między zmiennymi

###Bardziej zaawansowany heatmap oferuje ggplot, trzeba tylko wynik korelacji (który jest typu matrix) zamienić na data.frame. Można to zrobić przez funkcje melt

###Sprawdzimy od czego Survived najbardziej zależy.

Tak jak w analizie powyżej szansa przeżycia zależała przede wszytskim od płci, klasy i ceny biletu.

Ciekawym wykresem jest Performance Analytics. Pozwala na jedynm wykresie pokazać histogram, zależności między zmiennymi i jak zmieniają się dane w zależności od zmiennych.

Po przekątnej mamy histogram, po lewej na dole wykresy punktowe i szacowany wykres zależności między punktami. Np: wiersz Survived z kolumną Age widzimy, że wraz ze wzrostem wieku przeżywalność spada, odwrotnie jak w przypadku opłaty za bilet Fare, wraz ze wzrostem przeżywalność rośnie.

Wybieramy próbkę do testów - 10% danych

Związek pomiędzy klasą a wiekiem

Widzimy, że w klasie 3 przeważały najmłodsze osoby, a w klasie 1 – najstarsze P-value < 0,05, więc odrzucamy \(H_0\), że średni wiek w każdej klasie jest taki sam. Wynika stąd, że istniej zależność miedzy klasą a wiekiem.

Związek pomiędzy opłatą a płcią

P-value >0,05, więc nie ma podstaw do odrzucenia \(H_0\), że wartość oczekiwana ceny bilety dla kobiet= wartość oczekiwana ceny biletu dla mężczyzn. Wynika z tego, że płeć nie ma większego wpływu na cenę biletu.

Związek pomiędzy wiekiem a płcią

Nie ma większych różnic w rozkładzie wieku kobiet i mężczyzn. P-value>0,05, więc nie ma większego znaczenia płeć na średni wiek pasażera.

Testujemy hipotezę \(H_0:\) średni wiek pasażera wynosi 30 lat

p-value wynosi 0,9, więc nie ma podstaw do odrzucenia \(H_0\).

to samo ale w troszkę inny sposób:

Testy parametryczne są słabo odporne na zakłócenia (np. brak normalności zmiennej, obserwacje odstające). Sprawdzimy, czy zmienna Age ma rozkład normalny. Wykonamy dwa testy: Kołmogorowa-Smirnowa i Shapiro-Wilka.

## 
##  One-sample Kolmogorov-Smirnov test
## 
## data:  probka$Age
## D = 0.96943, p-value = 6.661e-16
## alternative hypothesis: two-sided

## 
##  Shapiro-Wilk normality test
## 
## data:  probka$Age
## W = 0.96408, p-value = 0.001544

W obu przypadkach p-value jest mniejsze od 0,05, wiec odrzucamy Hipoteze zerową o normalności rozkładu.Sprawdżmy zatem test nieparametryczny do przetestowania hipotezy \(H_0:\) średni wiek pasażera wynosi 30 lat. Tym razem p-value=0,25 > 0,05. Nadal nie mamy podstaw do odrzucenia \(H_0\).

Testujemy hipotezę \(H_0:\) średni wiek pasażera wynosi 50 lat

p-value wynosi \(1,24\cdot 10^{-35}\), więc odrzucamy \(H_0\).

Testujemy hipotezę \(H_0:\) średna opłata za rejs wynosi 40

p-value wynosi 0,79, więc nie ma podstaw do odrzucenia \(H_0\).

Związek pomiędzy tytułem a opłatą

P-value=0,6>0,05, więc nie ma podstaw do odrzucenia \(H_0\), że wartości oczekiwane z opłaty są równe. Wynika stąd, że tytuł nie ma większego wpływu na cenę biletu.

Związek pomiędzy opłatą a płcią

Podobnie jak poprzednio p-value>0,05, wynika stąd że płeć nie ma większego wpływu na cenę biletu.

Związek pomiędzy klasą i opłatą

Tym razem p-value<0,05, a zatem odrzucamy \(H_0\) o tym, że wartośći oczekiwane opłaty są równe w każdej klasie. Zatem klasa ma istotny wpływ na cenę biletu. Najwyższą opłatę zapłacimy jak będziemy podróżować klasą 1

Związek pomiędzy przeżywalnością a płcią

Tutaj testujemy \(H_0\), że wartości oczekiwane sa sobie równe. P-value<0,05, więc odrzucamy H0. A zatem płeć ma decydujący wpływ na przeżycie. Największe szanse na przeżycie mają kobiety

Zależność przeżycia od klasy

P-value=0,05, więc odrzucamy H0. Największe szanse na przeżycie mamy podróżując klasą 1, a najmniejsze - klasą 3.

Zależność klasy od tytułu

Tym razem \(H_0\): porównywane zmienne są niezależne, HA: są zależne. P-valeu>0,05, więc nie ma podstaw do odrzucenia \(H_0\), a zatem przynależność do danej klasy nie zależy od tytułu.

Zależność klasy od płci

\(H_0:\) zmienna klasa i płeć są niezależne \(H_A:\) istnieje związek między przynależnością do klasy a płcią p-value=0,38 czyli >0,05 wniosek: brak podstaw do odrzucenia \(H_0\) czyli przynależność do danej klasy nie jest powiązana z rodzajem płci

Wartości p=0,08; p=0,59; p=1,62e-03 dotyczą testu dobroci dopasowania- sprawdza on czy dane próbki pochodzą z określonego rozkładu teoretycznego (czyli z góry wiedzieliśmy czy założyliśmy jakie proporcje stanowili mężczyźni i kobiety w danej klasie). Weryfikujemy w tym przypadku czy w poszczególnych klasach równo (po 50%- jeśli nie wskażemy inaczej) rozkłada się płeć mężczyźni i kobiety. Przy klasie 1 i 2 brak podstaw do odrzucenia \(H_0\), w klasie 3 odrzucamy H0 - mężczyźni istotnie statystycznie przewyższają w tej klasie liczebność kobiet.

Zależność przeżycia od płci

\(H_0:\) zmienna przeżycie i płeć są niezależne \(H_A:\) istnieje związek między przeżyciem a płcią p-value<0,05 wniosek: odrzucamy \(H_0\) czyli przeżycie jest powiązane z rodzajem płci. Ponadto w testach dobroci dopasowania odrzucamy \(H_0\) – np. w przypadku mężczyzn: ci co zginęli istotnie statystycznie przewyższają w tej klasie liczebność tych co przeżyli.

Widzimy, że kobiety mają większe szanse na przeżecie (“women first”)

Zależność przeżycia od klasy, którą się podróżuje

Tutaj p-value < 0,05, więc odrzucamy \(H_0\), a zatem istnieje zależność między przeżyciem a klasą podróży. Największe szanse na przeżycie mają pasażerowie klasy 1 Przy klasie 1 i 2 brak podstaw do odrzucenia H0, w klasie 3 odrzucamy \(H_0\) – ci co zginęli istotnie statystycznie przewyższają w tej klasie liczebność tych co przeżyli.

P-value=0,2>0,05, więc odrzucamy \(H_0\) – ci co zginęli istotnie statystycznie przewyższają liczebność tych co przeżyli.