Analiza danych Titanic

Kategoryzacja danych

Część danych jest w postaci tekstowej i trzeba je skategoryzować. W tym celu dodajemy nowe pola w naszej tabeli: Sex2 i Embarked2:

Oto kilka pierwszych wierszy nowej tabeli titanic_calosc

Widzimy, że mamy następujące dane w nowych kolumnach

Wypełnianie braków danych w Embarked

Pole Embarked ma tylko dwa braki danych. Wynika z tego, że można Embarked wypełnić wartościami z wierwszy o zbliżonych wartościach. Najpierw sprawdzimy od czego ona najbardziej zależy Embarked.

##  Embarked2       Fare     Pclass       Sex2        Age      SibSp      Parch 
## 1.00000000 0.30310839 0.28198941 0.11599775 0.09064651 0.04836727 0.01411680

Badając korelację zmiennej Embarked z pozostałymi zmiennymi, widzimy, że zależy ona najbardziej o zmiennych: Fare, Pclass i Sex2. A zatem potrzebujemy dla cClass, Sex2 obliczyć Fare i zobaczyć który Embarked jest najbliżej. Najpierw wyświetlmy dane tych pasazerów, u których są braki danych w Embarked:

Widzimy, że są to kobiety podróżujace pierwszą klasą, a ich opłata wynosi 80. Wówczas wybieramy dane, które właśnie spełniają te warunki.

## # A tibble: 4 x 5
##   Embarked   sum count  mean median
##   <chr>    <dbl> <int> <dbl>  <dbl>
## 1 C        8442.    71  119.   83.2
## 2 Q         180      2   90    90  
## 3 S        6974.    69  101.   78.8
## 4 <NA>      160      2   80    80

Najbliżej 80 jest mediana z portu źródłowego Southampton. Możemy to jeszcze ilustrować na wykresie, gdzie czerwoną linią jest zaznaczony poziom Fare=80.

Wynika stąd, że brakujące wrtości w polu Embarked można zastąpić wartością S.

## 'data.frame':    1309 obs. of  13 variables:
##  $ PassengerId: int  1 2 3 4 5 6 7 8 9 10 ...
##  $ Survived   : int  0 1 1 1 0 0 0 0 1 1 ...
##  $ Pclass     : int  3 1 3 1 3 3 1 3 3 2 ...
##  $ Name       : chr  "Braund, Mr. Owen Harris" "Cumings, Mrs. John Bradley (Florence Briggs Thayer)" "Heikkinen, Miss. Laina" "Futrelle, Mrs. Jacques Heath (Lily May Peel)" ...
##  $ Sex        : chr  "male" "female" "female" "female" ...
##  $ Age        : num  22 38 26 35 35 NA 54 2 27 14 ...
##  $ SibSp      : int  1 1 0 1 0 0 0 3 0 1 ...
##  $ Parch      : int  0 0 0 0 0 0 0 1 2 0 ...
##  $ Ticket     : chr  "A/5 21171" "PC 17599" "STON/O2. 3101282" "113803" ...
##  $ Fare       : num  7.25 71.28 7.92 53.1 8.05 ...
##  $ Embarked   : chr  "S" "C" "S" "S" ...
##  $ Sex2       : num  2 1 1 1 2 2 2 2 1 1 ...
##  $ Embarked2  : num  3 1 3 3 3 2 3 3 3 1 ...

Wypełnianie braków danych w Age

W przypadku zmiennej Age uzupełniamy braki danych wartością średnią zmiennej Age:

Wypełnianie braków danych w Fare

Zaczynamy od wyświetlenia tej obserwacji, gdzie Fare jest NA i od sprawdzenia z czym zmienna Fare jest nabardziej skorelowana:

##      Fare    Pclass Embarked2     Parch      Sex2       Age     SibSp 
## 1.0000000 0.5586287 0.2380054 0.2215387 0.1855230 0.1718929 0.1602383

Widzimy, że zmienna Fare jest skorelowana z Pclass, Embarked2, Parch Sex2 i Age. A zatem biorąc pod uwagę, że nasz pasażer, dla którego mamy brak opłaty, podróżuje klasą 3, wyruszył z portu w Southampton, jest mężczyzną i ma 60,5 roku. A zatem szukamy pasujących danych:

## # A tibble: 6 x 5
##     Age   sum count  mean median
##   <dbl> <dbl> <int> <dbl>  <dbl>
## 1  51   22.9      3  7.62   7.75
## 2  55.5  8.05     1  8.05   8.05
## 3  59    7.25     1  7.25   7.25
## 4  60.5 NA        1 NA     NA   
## 5  61    6.24     1  6.24   6.24
## 6  74    7.78     1  7.78   7.78

Można przypuszczać że osoby w tym wieku średnio płaciły między 6.24 a 7.25 funtów. Możemy w takim razie przyjąć średnią z tych dwóch wartości. Różnica między 6.24 a 7.25 jest zbyt mała, aby mieć istotny wpływ w porównaniu do całego obszaru cen (od 0 do 512, gdzie średnia to 33 a mediana to 14).

Ostatecznies nasze zestawienie brakujących wartości wygląda następujaco

##   PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Embarked
## 1           0      418      0    0   0   0     0     0      0    0        0
##   Sex2 Embarked2
## 1    0         0

Nowe kategorie tytułów

Na podtawie danych tytułów, tworzymy cztery nowe kategorie: Miss, Mrs, Mr, Other

## # A tibble: 18 x 2
##    Title      cnt
##    <chr>    <int>
##  1 Mr         757
##  2 Miss       260
##  3 Mrs        197
##  4 Master      61
##  5 Dr           8
##  6 Rev          8
##  7 Col          4
##  8 Major        2
##  9 Mlle         2
## 10 Ms           2
## 11 Capt         1
## 12 Don          1
## 13 Dona         1
## 14 Jonkheer     1
## 15 Lady         1
## 16 Mme          1
## 17 Sir          1
## 18 the          1

## # A tibble: 5 x 2
##   Title2   cnt
##   <chr>  <int>
## 1 Mr       757
## 2 Miss     260
## 3 Mrs      197
## 4 Master    61
## 5 Other     34

Po obróbce mamy tabelę do dalszej analizy

Ile osób przeżyło (1), a ile nie przeżyło (0):

## 
##   0   1 
## 549 342

Na podstawie wykresu widać, że szanse na przeżycie były małe.

Ile jest kobiet, a ile mężczyzn:

## 
## female   male 
##    466    843

### Ile osób wsiadło w każdym porcie

## 
##   C   Q   S 
## 270 123 916

### Ile osób podróżowało samych, a ile z rodziną:

## 
##   0   1   2   3   4   5   8 
## 891 319  42  20  22   6   9

## 
##    0    1    2    3    4    5    6    9 
## 1002  170  113    8    6    6    2    2

Ile osób było w każdej klasie

## 
##   1   2   3 
## 323 277 709

Najwięcej osób podróżowało w 3 klasie.

Osoby z 3 klasy są najmłodsze i rozrzut jest najmniejszy ze wszystkich. 50% osób w pierwszej klasie znajduje się między 30 a 50 rokiem życia

Histogram zmiennej Age

## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

Analiza przeżycia - związek zmiennej Survived z pozostałymi

Zwizualizujmy, jak wskaźniki przeżycia różniły się w zależności od płci.

Czy przeżyło więcej mężczyzn czy kobiet?

## 
## female   male 
##    466    843

W oparciu o powyższy wykres, kobiety miały większe szanse na przeżycie.

Sprawdźmy zależność przeżycia w odniesieniu do wieku

## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

Dzieci poniżej 5 lat miały większe szanse na przeżycie. Pasażerowie w wieku 20-40 lat byli bardziej narażeni na śmierć. Pasażerowie w wieku około 65 - 75 lat mieli prawie zerowe szanse na przeżycie. Przeżył jeden pasażer w wieku 80 lat. Pasażerowie, którzy przeżyli wydają się mieć niższą medianę wieku.

###Sprawdźmy współczynnik przeżycia według klasy pasażerskiej.

Przeżyło najwiecej osób, którzy kupili bilet w klasie pierwszej.

Zbadamy, jak różne zmienne oddziaływały na siebie i na wskaźnik przeżycia.

Kobiety w 1, 2 i 3 klasie miały odpowiednio 90%, 90% i 50% szans na przeżycie w porównaniu do mężczyzn.

## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

W danych dotyczących Titanica, wiek, płeć i klasa pasażerów były ważnymi czynnikami predykcyjnymi przeżycia. Najwięcej umarło mężczyzn w 3 klasie w wieku między 18 a 50 rokiem życia.

Spojrzymy jeszcze na korelacje między zmiennymi

###Bardziej zaawansowany heatmap oferuje ggplot, trzeba tylko wynik korelacji (który jest typu matrix) zamienić na data.frame. Można to zrobić przez funkcje melt

###Sprawdzimy od czego Survived najbardziej zależy.

Tak jak w analizie powyżej szansa przeżycia zależała przede wszytskim od płci, klasy i ceny biletu.

Ciekawym wykresem jest Performance Analytics. Pozwala na jedynm wykresie pokazać histogram, zależności między zmiennymi i jak zmieniają się dane w zależności od zmiennych.

Po przekątnej mamy histogram, po lewej na dole wykresy punktowe i szacowany wykres zależności między punktami. Np: wiersz Survived z kolumną Age widzimy, że wraz ze wzrostem wieku przeżywalność spada, odwrotnie jak w przypadku opłaty za bilet Fare, wraz ze wzrostem przeżywalność rośnie.

Wybieramy próbkę do testów - 10% danych

Związek pomiędzy klasą a wiekiem

Widzimy, że w klasie 3 przeważały najmłodsze osoby, a w klasie 1 - najstrasze.

Związek pomiędzy opłatą a płcią

Mamy tu odstajacą wartość opłaty dla pewnego pasażera.

Związek pomiędzy wiekiem a płcią

Nie ma większych różnic w rozkładzie wieku kobiet i mężczyzn.

Testujemy hipotezę \(H_0:\) średni wiek pasażera wynosi 30 lat

p-value wynosi 0,9, więc nie ma podstaw do odrzucenia \(H_0\).

to samo ale w troszkę inny sposób:

Testy parametryczne są słabo odporne na zakłócenia (np. brak normalności zmiennej, obserwacje odstające). Sprawdzimy, czy zmienna Age ma rozkład normalny. Wykonamy dwa testy: Kołmogorowa-Smirnowa i Shapiro-Wilka.

## 
##  One-sample Kolmogorov-Smirnov test
## 
## data:  probka$Age
## D = 0.96943, p-value = 6.661e-16
## alternative hypothesis: two-sided

## 
##  Shapiro-Wilk normality test
## 
## data:  probka$Age
## W = 0.96408, p-value = 0.001544

W obu przypadkach p-value jest mniejsze od 0,05, wiec odrzucamy Hipoteze zerową o normalności rozkładu.Sprawdżmy zatem test nieparametryczny do przetestowania hipotezy \(H_0:\) średni wiek pasażera wynosi 30 lat. Tym razem p-value=0,25 > 0,05. Nadal nie mamy podstaw do odrzucenia \(H_0\).

Testujemy hipotezę \(H_0:\) średni wiek pasażera wynosi 50 lat

p-value wynosi \(1,24\cdot 10^{-35}\), więc odrzucamy \(H_0\).

Testujemy hipotezę \(H_0:\) średna opłata za rejs wynosi 40

p-value wynosi 0,79, więc nie ma podstaw do odrzucenia \(H_0\).

Związek pomiędzy tytułem a opłatą

Związek pomiędzy opłatą a płcią

Związek pomiędzy klasą i opłatą

Najwyższą opłatę zapłacimy jak będziemy podróżowac klasą 1.

Związek pomiędzy przeżywalnością a płcią

Największe szanse na przeżycie mają kobiety.

Zależność tytułu od przeżycia - dwa podejścia: pierwsze parametryczne, drugie nieparametryczna, ale nie wiem o co w tym chodzi

Zależność przeżycia od klasy

Największe szanse na przeżycie mamy podróżując klasą 1, a najmniejsze - klasą 3.

Zależność klasy od tytułu

We wszystkich klasach przeważają mężczyźni z tytułem MR.

Zależność klasy od płci

Największa przewaga liczby mężczyzn nad nad kobiet jest w klasie 3.

Zależność przeżycia od płci

Widzimy, że kobiety mają większe szanse na przeżecie (“women first”)

Zależność przeżycia od klasy, którą się podróżuje

Największe szanse na przeżycie mają pasażerowie kalsy 1.

To!

###Test niezależności chi-kwadrat zwany również testem chi-kwadrat Pearsona stosuje się w celu zbadania zależności pomiędzy dwiema zmiennymi nominalnymi (kategorialnymi). Bazuje on na porównywaniu ze sobą wartości obserwowanych (czyli takich, które uzyskaliśmy w badaniu) z wartościami oczekiwanymi (czyli takimi, które zakłada test, gdyby nie było żadnego związku pomiędzy zmiennymi). Jeżeli różnica pomiędzy wartościami obserwowanymi a oczekiwanymi jest duża (istotna statystycznie) to można powiedzieć, że zachodzi relacja pomiędzy jedną zmienną a drugą.

###Najprostszym przypadkiem użycia ggpiestats jest wyświetlenie informacji o jednej zmiennej kategorycznej lub nominalnej. W ramach tego wyświetlania lub wykresu możemy również wykonać test chi-squared dobroci dopasowania, aby sprawdzić, czy proporcje (lub procenty) w kategoriach pojedynczej zmiennej wydają się zgodne z naszą hipotezą lub modelem. ###Załóżmy, że chcemy wyświetlić wykres kołowy z odsetkami pasażerów, którzy przeżyli lub nie przeżyli. Nasza początkowa hipoteza jest taka, że nie było to nic innego niż rzucanie monetą. Ludzie mieli 50/50 szans na przeżycie.

### Domyślnie ustawione są równe proporcje dla każdej kategorii, np. 50/50, ale można określić dowolny hipotetyczny stosunek za pomocą ratio, więc jeśli nasza hipoteza brzmiała, że 80% umarło, a 20% przeżyło, po wprowadzeniu kodu dodalibyśmy ratio = c(.80,.20).

#Przejdźmy teraz do bardziej złożonego przykładu pod względem statystycznym i pod względem funkcji, których będziemy używać w ggpiestats

### Na wykresie widać wyraźnie, że wskaźniki przeżycia różniły się znacznie między kobietami i mężczyznami. Test niezależności chi kwadrat Pearsona jest istotny, biorąc pod uwagę dużą liczebność próby. Dodatkowo, zarówno w przypadku kobiet, jak i mężczyzn, wskaźniki przeżycia były znacząco różne od 50%, co jest równoznaczne z testem dobroci dopasowania dla każdej płci.