Challenge 1.

Czy to prawda, że kwoty kredytów (amount) różnią się istotnie ze względu na ryzyko kredytowe (credit_risk)?

UWAGA: jeśli założenie o normalności rozkładu nie jest spełnione - musimy zastosować nieparametryczny zamiennik testu t (test rang Wilcoxona; type=“np”). Proszę zajrzeć do notatek z wykładu i przeczytać na czym polegają te testy.

data(GermanCredit)
attach(GermanCredit)

ggqqplot(amount[credit_risk=="good"])

ggqqplot(amount[credit_risk=="bad"])

# testy normalności wg ryzyka:
GermanCredit %>%
  group_by(credit_risk) %>%
  shapiro_test(amount)

## # A tibble: 2 × 4
##   credit_risk variable statistic        p
##   <fct>       <chr>        <dbl>    <dbl>
## 1 good        amount       0.808 5.18e-28
## 2 bad         amount       0.814 2.84e-18

ggbetweenstats(
  data=GermanCredit,
  x=credit_risk,
  y=amount,
  type="np", # dane nie są normalne więc korzystam z testu nieparametrycznego!!!
  k=4 # 4 cyfry po przecinku
)

pvalue < alfa, można odrzucić hipoteze zerową, co oznacza kwoty kredytów różnią się ze względu na ryzyko kredytowe

Challenge 2.

Do analizy wykorzystamy dane z portalu IMDB.

Zweryfikujmy hipotezę, że dramaty mają lepsze recenzje niż komedie romantyczne.

Mając 2 niezależne próby, musimy sprawdzić, czy rozkłady w obu przypadkach są normalne, a wariancja jednorodna (na tym samym poziomie), aby użyć testu t-Studenta.

1. Sprawdźmy normalność oceny.

data(movies_long)
attach(movies_long)
shapiro.test(movies_long$rating)

## 
##  Shapiro-Wilk normality test
## 
## data:  movies_long$rating
## W = 0.98684, p-value = 8.506e-11

2. Sprawdźmy teraz, czy wariancja jest jednorodna:

var.test(movies_long$rating[genre == "Drama"], movies_long$rating[genre == "RomCom"])

## 
##  F test to compare two variances
## 
## data:  movies_long$rating[genre == "Drama"] and movies_long$rating[genre == "RomCom"]
## F = 1.0102, num df = 427, denom df = 194, p-value = 0.9465
## alternative hypothesis: true ratio of variances is not equal to 1
## 95 percent confidence interval:
##  0.7898223 1.2778332
## sample estimates:
## ratio of variances 
##           1.010157

Jak widać, oceny obu gatunków filmowych mają wariancje bliską 1, jednorodną.

3. Wreszcie wiemy, który test jest najbardziej odpowiedni do weryfikacji naszego twierdzenia. Obliczmy statystykę testu i wartość p:

t.test(rating[genre=="Drama"],rating[genre=="RomCom"],
       paired=FALSE,alternative="two.sided")

## 
##  Welch Two Sample t-test
## 
## data:  rating[genre == "Drama"] and rating[genre == "RomCom"]
## t = 7.5389, df = 377.35, p-value = 3.56e-13
## alternative hypothesis: true difference in means is not equal to 0
## 95 percent confidence interval:
##  0.5149014 0.8782618
## sample estimates:
## mean of x mean of y 
##  6.553505  5.856923

Możemy również wizualizować i obliczać ten test za pomocą pakietu ggstatsplot przy użyciu funkcji “???”:

movies_long%>%
  filter(genre %in% c("Drama", "RomCom"))%>%
  ggbetweenstats(y=rating, x=genre)

Testy 2 proporcji

Będziemy korzystać z danych kredytowych “germancredit”.

Czy jest jakaś podstawa do twierdzenia, że % osób ze złym wynikiem kredytowym jest znacząco wyższy wśród pracowników zagranicznych?

data(GermanCredit)
attach(GermanCredit)
# test dla 2 proporcji - test Chi2 dla proporcji (contingency):
ggbarstats(
  data=GermanCredit,
  x=foreign_worker,
  y=credit_risk,
  proportion.test=TRUE,
  k=5  #5 Liczba cyfr po przecinku 
)

# wersja podstawowa - bez wizualizacji:

tabelka<-table(foreign_worker,credit_risk) #umieszczamy dane w tabeli
prop.test(tabelka, correct = FALSE) # testujemy proporcje tabelki

## 
##  2-sample test for equality of proportions without continuity correction
## 
## data:  tabelka
## X-squared = 6.737, df = 1, p-value = 0.009443
## alternative hypothesis: two.sided
## 95 percent confidence interval:
##  -0.30347582 -0.09505355
## sample estimates:
##    prop 1    prop 2 
## 0.6926272 0.8918919

# Uwagi dotyczące korekty ciągłości:

# W przeciwieństwie do wielu programów statystycznych, ggstatsplot nie zapewnia opcji korekty Yatesa dla statystyki chi-squared Pearsona. Wynika to z istotnych badań symulacyjnych Monte-Carlo, które sugerują, że poprawka Yatesa jest zbyt konserwatywna, nawet przy małych liczbach prób. W związku z tym zaleca się, aby nigdy nie stosować jej w praktyce (Camilli & Hopkins, 1978, 1979; Feinberg, 1980; Larntz, 1978; Thompson, 1988).

Test Chi2 warunkowego zróżnicowania proporcji (bez korygowania ciągłości) wykazał, że różnice te są istotne statystycznie (p=0,009).

Stwierdzamy, że poziom ryzyka kredytowego jest istotnie różny u pracowników krajowych i zagranicznych -> wniosek: zmienna ta istotnie determinuje ryzyko - warto ją uwzględnić w modelu scoringowym.

Challenge 3.

Również na podstawie danych “germancredit”: zweryfikuj, czy jest jakaś podstawa do twierdzenia, że % osób ze złą historią kredytową (credit_history) różni się istotnie dla osób wnioskujących o kredyt z innego powodu (“purpose”).

ggpiestats(
  data=GermanCredit,
  x=credit_history,
  y=purpose
)

Wnioski: 1.Hipoteza zerowa: procent osób ze złą historią kredytową (credit_history) nie różni się znacząco dla osób wynioskujących o kredyt z innego powodu (“purpose”)

Hipoteza alternatywna: procent osób ze złą historią kredytową (credit_history) różni się znacząco dla osób wynioskujących o kredyt z innego powodu (“purpose”)

pvalue << alfa, możemy odrzucić hipoteze zerową, a więc % osób ze zła historią kredytową (credit_history) różni się znacząco dla osób wnoskujących o kredyt z innego powodu (“purpose”)