Fehler 1. und 2. Art

class: center, middle, inverse, title-slide

# Fehler 1. und 2. Art
## Erklärt anhand des zweiseitigen <span class="math inline"><em>z</em></span>-Tests im medizinischen Kontext
### Christian Stock

---

# Grundlagen für diese Lerneinheit

- Deskriptive Statistik
- Dichte- und Verteilungsfunktionen
- Normalverteilung (inkl. Standard-Normalverteilung)
- Formulierung ein- und zweiseitiger Testhypothesen

# Lernziele

- Sie verstehen die Definition und die Bedeutung des Fehlers 1. und 2. Art am Beispiel eines zweiseitigen Überlegenheitstests in der medizinischen Forschung.
- Sie wissen, wie entsprechende Fehlerwahrscheinlichkeiten zu kontrollieren sind.

---

# Deskriptive und konfirmatorische Datenanalyse

<div align="center">
![:scale 91%](fig_sampling.png)
</div>

---

# Die ChroPac-Studie:

* Patienten mit chronischer Pankreatitis
* Vergleich operativer Therapien
  + Duodenum erhaltende OP `$(n_X=125)$`
  + Nicht Duodenum erhaltende OP `$(n_Y=125)$`
* Endpunkt: Funktionelle Lebensqualität nach 24 Monaten (stetige Variable)
  + European Organisation for Research and Treatment of Cancer (EORTC) QLQ-C30 questionnaire

.footnote[.footnotesize[[Diener MK, et al. Partial pancreatoduodenectomy versus duodenum-preserving pancreatic head resection in chronic pancreatitis: the multicentre, randomised, controlled, double-blind ChroPac trial. Lancet. 2017;390(10099): 1027‐1037.](https://pubmed.ncbi.nlm.nih.gov/28901935/)]]

---

## Unterscheidet sich die Lebensqualität nach 24 Wochen?
<div align="center">
![:scale 70%](fig_chropac3.png)  
</div>

.footnote[.footnotesize[Simuliert in Anlehnung an die ChroPac-Studie.]]

---

# Ein statistisches Modell für die Daten

Die ChroPac-Studie statistisch formalisiert:
$$X_i \sim N(\mu_X,\sigma^2), \, i=1,\ldots,n_X $$

$$\text{und} $$

`$$Y_i \sim N(\mu_Y,\sigma^2), \, i=1,\ldots,n_Y, \,$$`

wobei `$N(\mu,\sigma^2)$` die Normalverteilung mit **Erwartungswert** `$\mu$` und **Varianz** `$\sigma^2$` bezeichnet und `$X_i$` und `$Y_i$` als unabhängig und `$\sigma^2$` als bekannt vorausgesetzt werden.

Wir nehmen an, die Variablen/ Indizes `$X$` und `$Y$` repräsentieren die Duodenum erhaltende bzw. die nicht Duodenum erhaltende OP.

---

# Ein statistischer Test könnte Aufschluß über den Unterschied geben

Ein statistischer Test definiert ein **Entscheidungsverfahren** für die *Ablehnung* oder *Beibehaltung* einer Nullhypothese, genannt \$ H_0 \$, gegenüber einer Alternativhypothese `$H_A$`. 
Hier wird ein zweiseitiges Testproblem angenommen:

`$$H_0: \; \mu_Y - \mu_X = 0 \quad \text{versus} \quad H_A: \; \mu_Y - \mu_X \neq 0$$`
Das Entscheidungsverfahren eines statistischen Tests basiert auf einer so genannten **Teststatistik** `$T$`, die aus Studienergebnissen berechnet wird, und einem **Ablehnungsbereich** `$A_\alpha$`.

Die Nullhypothese `$H_0$` wird abgelehnt, falls die Teststatistik `$T$` in den Ablehnungsbereich `$A_\alpha$` fällt, der anhand eines **kritischen Wertes** `$T_{krit.}$` definiert ist. Andernfalls muss sie beibehalten werden.

---

# Die möglichen Entscheidungen 
&nbsp;

<div align="left">
![:scale 80%](fig_possible_errors.png)
</div>

&nbsp;

---

# Fehler 1. Art
 
Bei der Konstruktion des Tests ist das so genannte **Signifikanzniveau** `$\alpha$` so zu wählen ist, dass die Wahrscheinlichkeit einer Ablehnung nicht größer ist als `$\alpha$`, wenn in Wahrheit die Nullhypothese `$H_0$` gilt, d.h.: 
`$P_{H_0}(T\in A_\alpha) \; \leq \;  \alpha$`,

So wird sichergestellt, dass die Wahrscheinlichkeit für eine **fälschliche Ablehnung der wahren Nullhypothese** - ein sogenannter *Fehler 1. Art* - nicht größer als ein vorgegebener Wert \$ \alpha \$ ist (sehr häufig gewählt: `$\alpha=5\%$`).

<div align="center">
![:scale 68%](fig_alpha.png)
</div>

---
# Fehler 2. Art

Neben dem Fehler 1. Art, kann noch eine andere Fehlentscheidung getroffen werden:

Eine  **fälschliche Nicht-Ablehnung der Nullhypothese** `$H_0$`, d.h. wenn in Wahrheit die Alternativhypothese `$H_A$` gilt. 
Dies wird als *Fehler 2.* Art mit zugehöriger Wahrscheinlichkeit `$\beta$` bezeichnet.

Die zur Wahrscheinlichkeit eines Fehlers 2. Art komplementäre Größe `$\left(1-\beta\right)$` wird als **statistische Power** bezeichnet: `$\text{Power}=P_{H_A}(T\in A_\alpha)=1- \beta$`

Bezug zur **Fallzahl**: Der Wert der Größe `$\beta$` bzw. `$\left(1-\beta\right)$` hängt unter anderem von der gewählten Fallzahl ab. Es ist das Ziel der Fallzahlberechnung, sicherzustellen, dass der Stichprobenumfang groß genug ist, damit die statistische Power einen vorgegebenen Wert erreicht. Sehr häufig wird für `$(1-\beta)$` ein Wert von 80% oder 90% gewählt.

---
# Dichtefunktionen von `$T$` unter `$H_0$` und `$H_A$` 
<div class="ribbon-parent" style="position:absolute;top:0px;overflow:hidden;width:150px;height:150px;z-index:5;pointer-events:none;right:0px;top:00px;z-index:100;">
<div class="ribbon" style="background-color:white;overflow:hidden;white-space:nowrap;position:absolute;top:45px;box-shadow:0 0 10px #888;pointer-events:auto;right:-50px;transform:rotate(45deg);width:250px;top:28px;">
<a href="https://cstock.shinyapps.io/type1and2error/" style="border:1px solid white;color:black;display:block;font:bold 95% 'Collegiate', Arial, sans-serif;margin:1px 0;padding:6px 50px;text-align:center;text-decoration:none;letter-spacing:-0.3px;" target="_blank">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;try me!</a>
</div>
</div>
<style>
.ribbon:hover {opacity:1;}
.ribbon {opacity:0.6;transition:opacity 0s ease 0s;}
</style>
<div align="center">
![:scale 90%](fig_f0fATkrit1.png)
</div>

---

# Fehler 1. und 2. Art in der ChroPac-Studie

*Übung*

Ein **Fehler 1. Art** würde dann auftreten, wenn .blue[in der Grundgesamtheit] aller Patienten mit chron. Pankreatitis .blue[kein Unterschied] bzgl. der mittleren funktionellen Lebensqualität nach Operation besteht, die Studienergebnisse jedoch so ausfallen, dass .blue[die Teststatistik in den Ablehnungsbereich fällt] und fälschlicherweise angenommen wird, dass ein Unterschied in der Wirksamkeit der OP-Methoden besteht.

Ein **Fehler 2. Art** würde dann auftreten, wenn .blue[in der Grundgesamtheit] aller Patienten mit chron. Pankreatitis .blue[ein Unterschied] bzgl. der mittleren funktionellen Lebensqualität nach Operation besteht, die Studienergebnisse jedoch so ausfallen, dass .blue[die Teststatistik  nicht in den Ablehnungsbereich] fällt und fälschlicherweise weiter angenommen wird, dass kein Unterschied in der Wirksamkeit der OP-Methoden besteht.

---

# Auswertung mit dem `$z$`-Test

Mit dem `$z$`-Test können für **unabhängige Stichproben** die Erwartungswerte zweier Gruppen `$X$` und `$Y$` einer **normalverteilten Zielgröße bei bekannter Varianz** verglichen werden. Die Teststatistik `$Z$` ist definiert wie folgt:

`$$Z= \sqrt{\dfrac{n_X\cdot n_Y}{n_X + n_Y}} \cdot \dfrac{\overline{Y}-\overline{X}}{\sigma} \; \sim \; N(\lambda,1),$$`
wobei `$\overline{X}$` und `$\overline{Y}$` die arithmetischen Mittelwerte in den beiden Gruppen sind und `$\lambda$` der so genannte *Nicht-Zentralitätsparameter* ist.

Man sieht, dass `$Z$` unter der Nullhypothese `$H_0$` (kein Unterschied) standardnormalverteilt ist, d.h. `$N \sim (0,1)$`.

.footnote[.footnotesize[Die Bekanntheit der Varianz ist eine Vereinfachung, die in der Anwendung kaum anzutreffen ist. Die Gleichheit der Varianzen ist keine notwendige Voraussetzung und wird hier nur für eine vereinfachte Darstellung verwendet.]]

---

# Entscheidungsregeln im `$z$`-Test

Die Testentscheidung erfolgt anhand der Quantile der Standardnormalverteilung `$N(0,1)$`.

**Lehne `$H_0$` ab, wenn**

`$$z \leq -z_{1-\alpha/2} \quad \text{oder} \quad z \geq z_{1-\alpha/2}.$$`

**Behalte `$H_0$` bei, wenn**

`$$-z_{1-\alpha/2}<z<z_{1-\alpha/2}.$$`

Für ein zweiseitiges Signifikanzniveau `$\alpha$` von 5% ergeben sich kritische Werte von `$-z_{0,975} = -1,96$` und `$z_{0,975} = 1,96$`. Die Entscheidungsregeln sind also:
- Lehne `$H_0$` ab, wenn `$z \leq -1,96\; \text{oder} \; z \geq 1,96$`.
- Behalte `$H_0$` bei, wenn `$-1,96  < z < 1,96$`.

---

<div class="ribbon-parent" style="position:absolute;top:0px;overflow:hidden;width:150px;height:150px;z-index:5;pointer-events:none;right:0px;top:00px;z-index:100;">
<div class="ribbon" style="background-color:white;overflow:hidden;white-space:nowrap;position:absolute;top:45px;box-shadow:0 0 10px #888;pointer-events:auto;right:-50px;transform:rotate(45deg);width:250px;top:28px;">
<a href="https://cstock.shinyapps.io/type1and2error/" style="border:1px solid white;color:black;display:block;font:bold 95% 'Collegiate', Arial, sans-serif;margin:1px 0;padding:6px 50px;text-align:center;text-decoration:none;letter-spacing:-0.3px;" target="_blank">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;try me!</a>
</div>
</div>
<style>
.ribbon:hover {opacity:1;}
.ribbon {opacity:0.6;transition:opacity 0s ease 0s;}
</style>

---

# Ausblick

* Von der Teststatistik zum P-Wert

* Was passiert, wenn wir mehrere Tests durchführen? (multiple Testproblematik)

* Häufig verwendete statistische Testverfahren in der Medizin
    + für stetige Merkmale: der `$t$`-Test für abhängige und unabhängige Stichproben 
    + für kategoriale Merkmale: der `$\chi^2$` (Chi-Quadrat)-Test

---
# Take-home messages

### Fehler 1. Art:

* Ablehnung einer wahren Nullhypothese ("falsch positiv")
* Wird kontrolliert durch das Signifikanzniveau `$\alpha$`

### Fehler 2. Art:

* Nicht-Ablehnung einer falschen Nullhypothese ("falsch negativ")
* Abhängig u.a. von der Fallzahl, aber auch von den zugrundeliegenden Effektgrößen und Varianzen (hier nicht im Detail besprochen)
* Daher steuerbar über Fallzahlplanung, die ausreichende statistische Power garantieren soll.

---

# Vielen Dank für die Aufmerksamkeit
.pull-left[Noch mehr Fehlermöglichkeiten:</br>
&nbsp;

.superbig[
🙈
🙉
]

</br>
https://www.xkcd.com/2303/
]
.pull-left[
<div align="center">
![:scale 92%](fig_errortypes.png)
</div>
]

---

# Literatur

* M. Kieser. Fallzahlberechnung in der medizinischen Forschung: Eine Einführung für Mediziner und Biostatistiker (essentials). Springer; Auflage: 1. Aufl. 2018.

---

# Credit

Diese Folien basieren auf dem [Rutgers theme](https://github.com/jvcasillas/ru_xaringan) für [Xaringan](https://github.com/yihui/xaringan)-basierte Slides.