Ziel dieser Lernerfolgskontrolle ist es, die in diesem Kurs vermittelten Kenntnisse auf eine konkrete Forschungsfrage anzuwenden. Als Grundlage erhalten Sie den Datensatz “Beat the Blues”. Dieser Datensatz stammt von einer randomisierten, kontrollierten Studie, in welcher untersucht wurde, ob das «Beat the Blues» (BtheB, BtB) Programm zur Behandlung von Menschen mit Depression effektiver ist als die Standardbehandlung (Treatment as Usual, (TaU, TAU). Der in dieser Übung verwendete Datensatz umfasst einen repräsentativen Teil der Proband:innen. Mehr Informationen zur Methodik dieser Studie finden Sie hier.
Ursprungsversion der Übung von Lukas Stammler & Nathanael Lutz.
Der Datensatz umfasst folgende Variablen:
Der BDI Score geht von 0 bis 63, ein höherer BDI steht für einen höheren Grad einer Depression:
0–8: Keine Depression
9–13: Minimale Depression
14–19: Leichte Depression
20–28: Mittelschwere Depression
29–63: Schwere Depression
Den Datensatz können Sie im Moodle-Kurs herunterladen. Sie brauchen ihn, um die folgenden Aufgaben zu lösen.
Laden Sie den Datensatz herunter und öffnen Sie ihn in jamovi.
Der Datensatz umfasst 9 Variablen, wobei die erste Variable eine reine Identifikationsvariable ist. Insgesamt gibt es 52 Beobachtungseinheiten.
Bestimmen Sie den Datentyp (Skalenniveau) jeder Variable.
Passen Sie den Datentyp in jamovi an, wenn dieser nicht korrekt hinterlegt ist.
Durch Doppelklick auf den Variablenname kann der Datentyp angepasst werden. Ihr Fenster sollte danach so aussehen:
In kontrollierten Studien ist es wichtig, dass die Gruppen zu Beginn
der Studie vergleichbar sind. Berechnen Sie das n, den Mittelwert, den
Median, die Standardabweichung das Minimum, das Maximum und die Quartile
für die Variable bdi_pre separat für die Personen in der
BtheB-Gruppe und die Personen in der TaU-Gruppe. Berechnen Sie ebenfalls
die absoluten Häufigkeiten für die Variablen drug und
length nach Gruppe. Sind die Gruppe BtheB und
die Gruppe TaU zu Beginn der Studie vergleichbar in Bezug
auf die Variablen bdi_pre, drug und
length?
Die BtheB Gruppe umfasst 27 Personen, die TaU Gruppe 25. Mittelwert
(22 vs. 24.1) und Median (19 vs 22) sind in der BtheB Gruppe leicht
tiefer als in der TaU Gruppe. Die Werte in der BtheB Gruppe streuen
etwas mehr um den Mittelwert als in der TaU Gruppe (Standarabweichung:
10.9 vs 8.07). Die Randomisierung scheint ihren Job gut gemacht zu
haben: Die Gruppen sind bzgl. der Variable bdi_pre
insgesamt vergleichbar.
Durch das Erstellen von Häufigkeitstabellen können die Gruppen bzgl.
den Variablen drug und length verglichen
werden.
Während es bei der Variable length keine grossen
Unterschiede gibt, fällt auf, dass in der BtheB Gruppe etwas mehr Leute
Antidepressiva einnahmen als in der TaU Gruppe.
Erstellen Sie eine Grafik mit Boxplots der Variable
bdi_pre, sepparat pro Gruppe. Interpretieren Sie die
Grafik.
Die Grafik bestätigt die Interpretation oben. Es wird ersichtlich, dass der Median in der TaU Gruppe etwas höher ist und die Werte in der BtheB Gruppe etwas mehr streuen. In beiden Gruppen gibt es keine Ausreisser und keine Werte, die nicht plausibel wären. Insgesamt kann gesagt werden, dass die Gruppen zu Beginn der Studie bzgl. des BDI-Scores vergleichbar sind.
Berechnen Sie eine neue Variable bdi_diff, welche die
Differenz zwischen der ersten und der letzten Messung darstellt. Rechnen
Sie die Differenz so, dass eine positive Zahl eine Verbesserung der
Depression bedeutet.
Anmerkung: Theoretisch könnten Sie dieser neuen Variable einen
beliebigen Namen geben. Zur Nachvollziehbarkeit der Aufgaben und
Lösungen empfehlen wir jedoch, den Namen bdi_diff zu
übernhemen.
Durch Klick in eine leere Spalte kann eine neue Variable erstellt werden. Weil wir diese auf Grundlage bereits existierender Variablen erstellen, wählen wir “New computed variable”. Danach kann der neue Variablenname und die entsprechende Formel eingegeben werden:
Um wie viel hat sich die Person in der vierten Zeile (Subject 7) von
der Baseline (bdi_pre) bis zur letzten Messung
(bdi_8m) verbessert/verschlechtert?
Wir sehen, dass sich die Person in der vierten Zeile (Subject 7) um 10 Punkte verbessert hat (der Score nimmt ab, also hat sich die Depression verbessert).
Wie gross ist die durchschnittliche Verbesserung in der BtheB Gruppe und in der TaU Gruppe?
Im Durchschnitt hat sich der BDI-Score in der BtheB Gruppe um 13.1 Punkte verbessert und in der TaU Gruppe um 10.5 Punkte.
Untersuchen Sie, ob es Evidenz dafür gibt, dass sich die BDI-Scores innerhalb der Gruppen von der Baseline bis zur Messung nach 8 Monaten verändert haben. Die folgenden Aufgaben beziehen sich sowohl auf die BtheB Gruppe sowie die TaU Gruppe.
Mit welchem statistischen Test/Verfahren können Sie dies prüfen? Begründen Sie.
In Frage kommt entweder ein t-Test für abhängige Stichproben oder der
Wilcoxon-Test. Wir müssen einen Test für abhängige Stichproben wählen,
weil die Daten vor und nach der Behandlung von der selben Person
stammen. Weil wir die Differenz zwischen bdi_pre und
bdi_8m bereits berechnet haben, können wir auch einen
Einstichproben Test mit der Variable bdi_diff durchführen
(was mathematisch äquivalent ist mit einen Test für abhängige
Stichproben).
Wie lauten Ihre statistischen Hypothesen?
Die Nullhypothese sagt in diesem Fall, dass sich der durchschnittliche BDI-Score nicht verändert hat. Mathematisch ausgedrückt:
\[\mu_{bdi.diff} = 0\]
Die Alternativhypothese lautet folglich:
\[\mu_{bdi.diff} \neq 0\] Weil es grundsätzlich plausibel ist, dass das Beat the Blues Programm schlechter abschneidet als die Standardtherapie, sollten ungerichtete Hypothesen formuliert werden.
Prüfen Sie allfällige Voraussetzungen für ihr vorgesehenes Testverfahren.
Falls Sie sich für einen t-Test entscheiden, sollten Sie folgendes beachten:
Man sieht, dass die Daten in beiden Gruppen nicht perfekt, aber annähernd einer Normalverteilung folgen.
Welcher Test soll nun durchgeführt werden?!
Auf diese Frage gibt es kein Richtig oder Falsch. Weil parametrische Verfahren (also hier der t-Test) gegenüber den nicht-parametrischen Verfahren flexibler sind, werden in der Forschungspraxis deutlich häufiger parametrische Verfahren angewendet (so auch in der Beat the Blues Studie). Fans des zentralen Grenzwertsatz haben ohnehin gute Argumente für parametrische Verfahren. Die Autoren dieser Übung sind der Ansicht, dass in diesem Fall ein t-Test für abhängige Stichproben angemessen ist. Vollständigkeitshalber wird aber auch das nicht-paramtetrische Verfahren (Wilcoxon Test) gezeigt.
Führen Sie das Testverfahren für jede Gruppe in jamovi durch und interpretieren Sie das Resultat des statistischen Tests.
Damit die Gruppen separat analysiert werden können, muss zuerst ein Filter definiert werden:
Nun kann der t-Test durchgeführt werden:
Interpretation
Die mittlere Differenz zwischen den beiden Zeitpunkten beträgt in der BtheB Gruppe 13.1 Punkte. Unter dem Szenario, dass H0 wahr ist, ist die Wahrscheinlichkeit (also der p-Wert), eine Teststatistik t von 6.8 bei einer t-Verteilung mit 26 Freiheitsgeraden zu finden, sehr klein (kleiner als 0.1%). Bei einem Signifikanzniveau von 5% fällt die Teststatistik t somit in den Verwerfungsbereich. Folglich wird H0 zugunsten von HA verworfen. Wir können zu 95% darauf vertrauen, dass die wahre mittlere Differenz irgendwo zwischen 9.18 und 17.1 Punkten liegt. Die Daten liefern also Evidenz dafür, dass sich der BDI-Score in der TaU Gruppe verbessert.
Der Wilcoxon-Test ist kongruent mit dem t-Test.
Für die TaU-Gruppe ist das Vorgehen analog wie oben bei der BtheB Gruppe.
Interpretation:
Die mittlere Differenz zwischen den beiden Zeitpunkten beträgt in der TaU Gruppe 10.5 Punkte. Unter dem Szenario, dass H0 wahr ist, ist die Wahrscheinlichkeit (also der p-Werte), eine Teststatistik t von 4.77 bei einer t-Verteilung mit 24 Freiheitsgeraden zu finden, sehr klein (kleiner als 0.1%). Bei einem Signifikanzniveau von 5% fällt die Teststatistik t somit in den Verwerfungsbereich. Folglich wird H0 zugunsten von HA verworfen. Wir können zu 95% darauf vertrauen, dass die wahre mittlere Differenz irgendwo zwischen 5.97 und 15.1 Punkten liegt. Die Daten liefern also Evidenz dafür, dass sich der BDI-Score in der BtheB Gruppe verbessert.
Der Wilcoxon-Test ist kongruent mit dem t-Test.
In der Übung 5 haben Sie in Erfahrung gebracht, dass sie sowohl die
BtheB Gruppe (um 13.1 Punkte [95% CI: 9.18 bis 17.1]) sowie die TaU
Gruppe (um 10.5 Punkte [95% CI: 5.97 bis 15.1]) statistisch signifikant
verbessert haben beim BDI-Score. In dieser Übung geht es nun um die
Fragen, ob sich die mittlere Veränderung des BDI-Scores
zwischen den Gruppen unterscheidet.
Untersuchen Sie, ob sich die durchschnittliche Veränderung des
BDI-Scores zwischen der BtheB Gruppe und der TaU Gruppe
unterscheidet.
Stellen Sie die Variable bdi_diff mittels Boxplots
separat pro Gruppe dar. Würden Sie aufgrund dieser Darstellung einen
statistisch signifikanten Unterschied zwischen den Gruppen erwarten? Mit
welchem statistischen Test/Verfahren können Sie dies prüfen?
Anhand der Grafik oben würde man kaum annehmen, dass sich die durchschnittliche Veränderung zwischen den Gruppen unterscheidet. Um dies mit einem statistischen Test zu überprüfen, kommt entweder ein t-Test für unabhängige Stichproben oder der Mann-Withney U Test in Frage. Wir müssen einen Test für unabhängige Stichproben wählen, weil die Daten in der BthB Gruppe unabhängig von jenen in der TaU Gruppe sind.
Wie lauten Ihre statistischen Hypothesen?
Die Nullhypothese sagt in diesem Fall, dass sich die mittlere Differenz des BDI-Scores zwischen der BtheB Gruppe und der TaU Gruppe nicht unterscheidet. Mathematisch ausgedrückt:
\[\mu_{bdi.diff(BtheB)} = \mu_{bdi.diff(TaU)} \]
Die Alternativhypothese lautet folglich:
\[\mu_{bdi.diff(BtheB)} \neq \mu_{bdi.diff(TaU)}\] Weil es grundsätzlich plausibel ist, dass das Beat the Blues Programm schlechter abschneidet als die Standardtherapie, sollten ungerichtete Hypothesen formuliert werden.
Prüfen Sie allfällige Voraussetzungen für ihr vorgesehenes Testverfahren.
Falls Sie sich für einen t-Test entscheiden, sollten Sie folgendes beachten:
bdi_diff in den
beiden Gruppen annähernd normalverteilt ist. Die Darstellung erfolgt am
einfachsten mittels QQ-Plot:Man sieht, dass die Daten nicht perfekt, aber annähernd eine Normalverteilung folgen.
Welcher Test soll nun durchgeführt werden?!
Auf diese Frage gibt es kein Richtig oder Falsch. Weil parametrische Verfahren (also hier der t-Test für unabhängige Stichproben) gegenüber den nicht-parametrischen Verfahren flexibler sind, werden in der Forschungspraxis deutlich häufiger parametrische Verfahren angewendet (so auch in der Beat the Blues Studie). Fans des zentralen Grenzwertsatz haben ohnehin gute Argumente für parametrische Verfahren. Die Autoren dieser Übung sind der Ansicht, dass in diesem Fall ein t-Test für unabhängige Stichproben angemessen ist. Vollständigkeitshalber wird aber auch das nicht-paramtetrische Verfahren (Mann-Withney U Test) gezeigt.
Führen Sie das Testverfahren in jamovi durch und interpretieren Sie das Resultat des statistischen Tests.
Der Output des t-Tests für unabhängige Stichproben sieht wie folgt aus:
Interpretation
Die Mittelwertsdifferenz zwischen den Gruppen beträgt 2.63 Punkte.
Unter dem Szenario, dass H0 (Mittelwertsdifferenz = 0) wahr ist, ist die
Wahrscheinlichkeit (also der p-Wert), eine Teststatistik t von 0.9 bei
einer t-Verteilung mit 50 Freiheitsgeraden zu finden, relativ gross
(37.3%). Bei einem Signifikanzniveau von 5% fällt die Teststatistik t
somit nicht in den Verwerfungsbereich. Folglich liefern die Daten keine
Evidenz gegen H0 und wir verwerfen H0 deshalb nicht.
Wir können zu 95% darauf vertrauen, dass die wahre Mittelwertsdifferenz
irgendwo zwischen -3.24 und 8.5 Punkten liegt. Da das Intervall breit
ist und sowohl negative (TaU ist besser) wie auch positive (BtheB ist
besser) Werte beinhaltet, liefern die Daten keine Evidenz dafür, dass
sich die durchschnittliche Verbesserung des BDI-Scores in der BtheB
Gruppe und der TaU Gruppe unterscheidet.
Der Welch’s t-Test korrigiert für die Tatsache, dass die Standardabweichungen der beiden Gruppen nicht ganz genau gleich sind. Das Ergebnis unterscheidet sich jedoch kaum vom normalen t-Test. Auch das nicht-parametrische Verfahren, der Mann-Withney U Test, führt zur selben Interpretation. Der Eindruck, welcher durch die Betrachtung der Boxplots entstand, hat also nicht getäuscht (es lohnt sich immer, zuerst grafische Eindrücke zu sammeln!).
Es stellt sich die Frage, ob es einen Zusammenhang gibt zwischen dem
Schweregrad der Depression zu Beginn der Studie (bdi_pre)
und der Veränderung des BDI-Scores (bdi_diff). Um diese
Frage zu beantworten, wurde die folgende einfache lineare Regression
berechnet:
bdi_diff und bdi_preReproduzieren Sie die lineare Regression in jamovi.
Sie können das lineare Regressionsmodell wie folgt in jamovi berechnen lassen:
Beurteilen Sie für alle folgenden Aussagen, ob diese zutreffen oder nicht und begründen Sie ihre Entscheidung:
bdi_pre ist die abhängige Variable.bdi_pre und bdi_diff besteht ein
positiver, linearer Zusammenhang.bdi_pre und bdi_diff lautet \(H_0: \beta_0 = 0\).bdi_pre und bdi_diff lautet \(H_A: \beta_1 \neq 0\).bdi_pre und bdi_diff.bdi_pre erklärt ca. einen Drittel der
Variabilität der Variable bdi_diff.bdi_pre und
bdi_diff zu analysieren.Beurteilung der Aussagen zur obigen lineare Regression:
bdi_pre ist die abhängige Variable. Diese
Aussage ist FALSCH. In diesem Modell ist die Variable
bdi_pre die unabhängige Variable (auch Prädiktorvariable
genannt) und die Variable bdi_diff ist die abhängige
Variable.bdi_pre und bdi_diff besteht ein
positiver, linearer Zusammenhang. Diese Aussage ist
KORREKT. Wenn man die beiden Variablen in einem
Streudiagramm darstellt, ist ein positiver, linearer Zusammenhang
vertretbar. Es gibt zwei Personen (die Punkte unten rechts), welche
etwas von diesem Muster abweichen.bdi_pre und
bdi_diffbdi_pre und bdi_diff lautet \(H_0: \beta_0 = 0\). Diese Aussage ist
FALSCH. Nicht \(\beta_0\), sondern \(\beta_1\) beschreibt den Zusammenhang
zwischen bdi_pre und bdi_diff. Folglich lautet
die Nullhypothese \(H_0: \beta_1 =
0\).bdi_pre und bdi_diff lautet \(H_A: \beta_1 \neq 0\). Diese Aussage ist
KORREKT. \(\beta_1\)
beschreibt die Steigung, also um wie viel sich bdi_diff durchschnittlich
erhöt, wenn sich bdi_pre um einen Punkt erhöt. Wenn \(\beta_1 = 0\) bedeutet dies, dass kein
Zusammenhang zwischen den Variablen besteht.bdi_diff, wenn die Variable
bdi_pre den Wert 0 annimmt. Für solche Personen ist das
Modell jedoch nicht aussagekräftig, weil Personen ohne Depression nicht
zur untersuchten Population gehören.bdi_pre und bdi_diff. Diese Aussage ist
KORREKT. \(\beta_1\)
beschreibt die Steigung, also um wie viel sich bdi_diff durchschnittlich
erhöt, wenn sich bdi_pre um einen Punkt erhöt.bdi_pre erklärt ca. einen Drittel der
Variabilität der Variable bdi_diff. Diese Aussage ist
KORREKT. Der Anteil der durch die unabhängige Variable
bdi_pre erklärte Variabilität der abhängigen Variable
bdi_diff gibt uns das Bestimmtheitsmass an: \(R^2 = 0.331 = 33.1%\).bdi_pre und
bdi_diff zu analysieren. Diese Aussage ist
KORREKT.Ein Studie hat untersucht, wie gross die Reduktion des BDI’s sein muss, damit man von einer klinisch relevanten Veränderung ausgehen kann (minimal clinically important difference, MCID). Die Autor:innen kommen zum Schluss, dass sich Personen, welche noch nicht lange an Depression leiden, um 17.5% verbessern müssen. Personen, welche schon länger an Depression leiden, benötigen eine 32%-ige Verbesserung.
Um die Übung zu vereinfach, soll untersucht werden, wie viele Leute in jeder Gruppe sich um mindestens 17.5% verbessert haben.
Erstellen Sie eine neue Variable mcid. Diese Variable
soll angeben, ob jemand die MCID erreicht hat oder nicht. Das erreichen
Sie, indem Sie eine Bedingung aufstellen:
\[bdi_{diff} > bdi_{pre} * 0.175\]
Wenn Sie auf “Compute” klicken, können Sie eine neue Variable berechnen. Wenn Sie die Formel
\[bdi_diff > bdi_pre * 0.175\]
eingeben, wird die Variable erstellt, welche die Ausprägung
true annimmt, wenn die MCID erreicht wurde und
false, wenn diese nicht erreicht wurde.
mcidBerechnen Sie die Häufkeiten der Variable mcid pro
Gruppe. Was stellen Sie fest?
Da es sich bei der Variable mcid um eine qualitative
Variable handelt, macht nur die Berechnung von Häufigkeiten Sinn
(Mittelwert usw. wurde deshalb nicht ausgewählt, dafür der Haken bei
“Frequency tables” gesetzt).
In der BthtB Gruppe
haben 3 von 27 (11.1%) und in der TaU Gruppe 6 von 25 (24%) Personen die
MCID nicht erreicht.
Mit welchem statistischen Verfahren könnten analysieren, ob die in Aufgabe 2 gefundenen Unterschiede statistisch signifikant sind? Wie lauten die statistischen Hypothese zu diesem Test? Was sind die Voraussetzungen für diesen Test?
Eine Möglichkeit, um die Unabhängigkeit zweier nominaler Variablen zu testen, ist der Chi-Quadrat Test. Dabei werden die folgenden Hypothesen aufgestellt:
\(𝐻_0\): Die zwei Variablen sind unabhängig
\(H_𝐴\):Die zwei Variablen sind abhängig
Für einen Chi-Quadrat Test sollte die erwartete Häufigkeit in keine Zelle kleiner als 5 sein. Ansonsten sollte der Fisher-Test verwendet werden.
Führen Sie einen Chi-Quadrat (oder ggf. einen Fisher-Test) durch und interpretieren Sie das Resultat.
Um den Chi-Quadrat Test durchzuführen, werden die Variablen
mcid und treatment ausgewählt. Damit
entschieden werden kann, ob die Voraussetzung bzgl. den erwarteten
Häufigkeiten erfüllt ist, werden diese auch ausgewählt.
Die erwarteten Häufigkeiten entsprechen quasi der Nullhypothese, also dass es keinen Zusammenhang zwischen Gruppe und der Anzahl Personen gibt, welche die MCID erreichen, bzw. nicht erreichen. Und \(H_0\) wird erwartet, dass in der BtheB Gruppe 4.67 und in der TaU Gruppe 4.33 Personen die MCID nicht erreichen. Unsere beobachteten Häufigkeiten weichen nur geringfügig von den erwarteten Häufigkeiten ab. Somit besteht wenig Evidenz gegen \(H_0\). Das bestätig der hohe p-Wert: dieser beträgt 28.4%. Wir interpretieren den p-Wert des Fisher-Tests, weil die erwarteten Häufigkeiten in zwei Zellen knapp kleiner sind als 5. Wir können also keinen Zusammenhang zwischen Gruppe und dem erreichen der MCID nachweisen. Somit ist der Chi-Quadrat Test kongruent zum t-Test für unabhängige Stichproben.
Wir haben gesehen, dass sich zwar beide Gruppen statistisch signifikant verbessern, jedoch zwischen den Gruppen keine statistisch signifikanten Unterschiede festgestellt werden konnten (sowohl beim t-Test sowie beim Chi-Quardrat Test). Dieses Phänomen ist bei Interventionsstudien im Gesundheitssektor gang und gägbe. Der Faktor “Zeit” ist also nicht zu unterschätzen. Nicht selten setzt man genau dann eine Intervention an, wenn das Problem am schlimmsten ist. In vielen fällen ist es dann nicht mehr als logisch, dass man sich verbessert (Regression to the mean). Genau aus diesem Grund ist es so wichtig, dass man eine Intervention wenn immer möglich mit einer Kontrollintervention vergleicht. Durch eine Randomisierung erreicht man am ehesten, dass die Gruppen zu Beginn der Studie vergleichbar sind. Bei dieser Teilstichprobe, war dies der Fall.
Falls Sie die Originalstudie gelesen haben wird Ihnen aufgefallen sein, dass dort von einem “statistisch signifikanten” Unterschied zwischen den Gruppen die Rede ist. Haben Sie in dieser Übung nun doch alles falsch gerechnet? Nein! Es gibt mehrere Gründe, warum die Originalstudie zu (leicht) unterschiedlichen Resultaten kommt:
Wir verfügen nur über einen Teildatensatz. Die Stichprbengrösse in der publizierten Studie ist fast doppelt so gross. Dies führt zu einer erheblich grösseren statistischen Power: Aufgrund des Wurzel-n-Gesetztes wissen wir, dass mit grössererm Stichprobenumfang der Standardfehler kleiner wird. Heisst: Bei gleichem Effekt werden Vertrauensintervalle schmaler, Teststatistiken grösser und p-Werte somit kleiner und schneller signifikant.
In der Studie wurde eine andere Analyse durchgefüht. Sie haben sicher gesehen, dass der BDI auch nach zwei, vier und sechs Monaten gemessen wurden. Im statistischen Modell der Autor:innen (einem soganannten mixed effects model) wurden alle Zeitpunkte berücksichtig. Weil die BtheB Gruppe bei allen Zeitpunkten leicht besser war als die TaU Gruppe, erhöht das die Wahrscheinlichkeit, dass man insgesamt einen p-Wert unter 5% findet.
In der Studie wurde mit dem effektiven BDI-Wert gerechnet, wir haben mit der Differenz (vorher-nachher) gererchnet. Das Rechnen mit der Differenz bietet den Vorteil, dass dadurch automatisch für die Baseline adjustiert wird!
In der Studie wird der Zeitpunkt nach 8 Monaten nur halbpatzig berücksichtig (siehe z.B. Tabelle unten). Warum wohl? Wenn sie einen t-Test machen für den BDI-Score nach 6 Monaten werden Sie einen signifikanten Unterschied zwischen den Gruppen feststellen, jedoch nicht nach 8 Monaten!