Der einseitige Signifikanztest: Zufall oder mehr?

Von p zu den Daten – und zurück

Miras Ratetest hat 10 Fragen mit je vier Antworten. Wer nur rät, hat die Trefferwahrscheinlichkeit $p=0,25$. Die Wahrscheinlichkeitsrechnung geht von einem bekannten $p$ aus und sagt voraus, wie die Trefferzahl $X$ streut. Ein Signifikanztest gehört zur Statistik und geht den umgekehrten Weg: Die Daten liegen vor (Mira hat 6 richtige), und wir fragen, welches $p$ dazu passt. Die Annahme, die wir prüfen („nur geraten“, $p=0,25$), heißt Nullhypothese H₀.

Der Regler zeigt die Idee: Bei $p=0,25$ sind 6 oder mehr Treffer selten, bei $p=0,6$ dagegen normal. Ein Ergebnis, das unter H₀ sehr unwahrscheinlich ist, spricht gegen H₀. Beweisen kann es nichts, denn unwahrscheinlich ist nicht unmöglich.

Der Ablauf eines Tests

Damit das Ergebnis die Entscheidung nicht zurechtbiegt, steht die Regel vor der Stichprobe fest. Zuerst legen wir die Hypothesen und das Signifikanzniveau α fest, zum Beispiel $\alpha =5\%$: die größte Irrtumswahrscheinlichkeit, die wir beim Ablehnen von H₀ in Kauf nehmen. Daraus folgt der Ablehnungsbereich, die Trefferzahlen, bei denen wir H₀ ablehnen. Erst dann ziehen wir die Stichprobe und entscheiden nach der Regel. Wer die Grenze erst nach den Daten wählt, kann jedes Ergebnis passend machen.

Auf den folgenden Seiten füllen wir jeden Schritt: die Hypothesen, den Ablehnungsbereich, die beiden möglichen Fehler und die Frage, was ein Ergebnis wirklich aussagt.

Ein Hersteller von Kopfhörern behauptet: „Höchstens 20 % der Geräte werden zurückgeschickt.“ Ein Verbraucherportal will mit einer Stichprobe belegen, dass die Quote höher ist. Was soll die Stichprobe belegen? Die Aussage, die die Daten stützen sollen, wird zur Gegenhypothese H₁: $p>0,2$. Die Nullhypothese H₀ ist das Gegenteil: $p\le 0,2$. Der Grund: Ein Test kann H₀ nur ablehnen. Eine Ablehnung ist die starke Aussage, und die soll die Behauptung sein, die wir belegen wollen.

Warum nicht umgekehrt? „Nicht abgelehnt“ heißt nur, dass die Daten nicht gegen H₀ ausreichen, und ist kein Beweis für H₀. Stünde die Behauptung „mehr als 20 %“ in H₀, könnte der Test sie also nie belegen. Als H₁ dagegen muss sie sich durch die Daten durchsetzen: Nur wenn das Ergebnis deutlich gegen H₀ spricht, gilt sie als gestützt.

Der Randwert $p_0=0,2$ gehört zu H₀. Das ist wichtig, weil wir später mit $p_0$ rechnen: Es ist der ungünstigste Fall, in dem H₀ gerade noch gilt.

Das Ziel bestimmt also die Nullhypothese. Will dagegen der Hersteller belegen, dass seine Quote unter 20 % liegt, dann ist $H_1:p<0,2$ und $H_0:p\ge 0,2$. Mit denselben Zahlen wechselt H₀, sobald das Ziel wechselt. Ein Test mit $H_1:p>p_0$ heißt rechtsseitig, einer mit $H_1:p<p_0$ linksseitig; beide zusammen sind die einseitigen Tests.

Die Entscheidungsregel

Zurück zu Mira: $H_0:p\le 0,25$ gegen $H_1:p>0,25$ bei $n=10$. Viele Treffer sprechen gegen H₀, also lehnen wir H₀ ab, sobald die Trefferzahl $X$ mindestens einen Wert $k$ erreicht. Die Menge $\{k,\dots ,n\}$ heißt Ablehnungsbereich, die übrigen Werte $\{0,\dots ,k-1\}$ bilden den Annahmebereich. Liegt das Ergebnis im Ablehnungsbereich, wird H₀ abgelehnt, sonst wird H₀ nicht abgelehnt. Das Bild zeigt den Ablehnungsbereich $\{6,\dots ,10\}$.

Die Grenze k finden

Wie groß darf der Ablehnungsbereich sein? Wir wählen $k$ so, dass H₀ höchstens mit der Wahrscheinlichkeit α fälschlich abgelehnt wird. Wir rechnen mit $p_0=0,25$, dem ungünstigsten Fall von H₀. Gesucht ist das kleinste k mit $P(X\ge k)\le \alpha$, denn ein möglichst großer Bereich macht den Test empfindlich. Über das Gegenereignis gilt $P(X\ge k)=1-P(X\le k-1)$.

Warum genügt $p_0$? Für jedes kleinere $p$ aus H₀ sind viele Treffer noch seltener. Wenn der Bereich bei $p_0$ die Grenze α einhält, dann erst recht bei allen anderen Werten von H₀.

Für $\alpha =0,05$: $P(X\ge 5)=1-0,9219=0,0781$ ist zu groß, $P(X\ge 6)=1-0,9803=0,0197\le 0,05$ passt. Also $k=6$, und Miras 6 richtige Antworten liegen im Ablehnungsbereich: H₀ wird abgelehnt.

Nicht jeder Test sucht nach zu vielen Treffern. Eine Spielerin traf bisher 80 % ihrer Freiwürfe, $p_0=0,8$. Nach einer Verletzung vermutet der Trainer, dass ihre Quote gesunken ist. Belegt werden soll also $p<0,8$: $H_1:p<0,8$ und $H_0:p\ge 0,8$, ein linksseitiger Test. Die Richtung von H₁ legt die Seite fest: Wenige Treffer sprechen für H₁, also liegt der Ablehnungsbereich links, $\{0,\dots ,g\}$.

Die Grenze $g$ ist der größte Wert mit $P(X\le g)\le \alpha$, diesmal direkt aus der Tabelle und ohne Gegenereignis. Bei $n=20$ und $\alpha =5\%$ gilt $P(X\le 12)=0,0321\le 0,05$, aber $P(X\le 13)=0,0867>0,05$. Also $g=12$: Bei höchstens 12 Treffern wird H₀ abgelehnt.

Rechts wurde das kleinste $k$ gesucht, links das größte $g$. Beide Male ist es der Wert, der den Ablehnungsbereich so groß wie möglich macht, ohne α zu verletzen.

Ein Beispiel für den Ablauf: Nach 20 Würfen zählt der Trainer die Treffer. Bei 11 Treffern liegt das Ergebnis in $\{0,\dots ,12\}$, H₀ wird abgelehnt. Bei 14 Treffern liegt es im Annahmebereich, und der Trainer kann die Vermutung nicht stützen.

Wenn H₀ gilt und trotzdem abgelehnt wird

Ein Test kann sich irren. Angenommen, Mira hat nur geraten, H₀ gilt also. Auch dann liegt ihr Ergebnis manchmal im Ablehnungsbereich, denn Glück kommt vor. Wird ein wahres H₀ abgelehnt, sprechen wir vom Fehler 1. Art. Die Tafel zeigt alle vier Fälle aus Wirklichkeit und Entscheidung: zwei sind richtig, zwei sind Fehler. Der Fehler 2. Art, das Beibehalten eines falschen H₀, bekommt den nächsten Abschnitt.

Kai hat nur geraten und trifft zufällig 7-mal: Der Test lehnt H₀ ab, und das ist ein Fehler 1. Art. Jonas hat gelernt und erreicht ebenfalls 7: Derselbe Test lehnt H₀ ab, diesmal richtig. Am Ergebnis allein sieht man nicht, welcher Fall vorliegt.

Wie wahrscheinlich ist der Fehler?

Die Wahrscheinlichkeit des Fehlers 1. Art rechnen wir unter H₀, mit $p_0$: $P(X\ge 6)=1-P(X\le 5)=1-0,9803=0,0197$. In Häufigkeiten: Von 1000 reinen Ratenden werden etwa 20 fälschlich als „gelernt“ eingestuft.

Das Niveau α ist nur die Obergrenze, die wir uns erlauben. Weil die Wahrscheinlichkeiten von Wert zu Wert springen, bleibt die tatsächliche Fehlerwahrscheinlichkeit meist unter α, hier 0,0197 statt 0,05. Ein kleineres α verkleinert den Ablehnungsbereich.

Die Alternative kennen

Der Fehler 2. Art ist das Gegenstück: H₀ wird beibehalten, obwohl H₁ gilt. Ben hat gelernt und weiß etwa jede zweite Antwort, $p=0,5$, erreicht aber nur 5 Treffer, außerhalb des Ablehnungsbereichs $\{6,\dots ,10\}$. Um die Wahrscheinlichkeit dieses Fehlers zu berechnen, brauchen wir ein konkretes $p_1$ aus H₁. Der Fehler tritt auf, wenn $X$ im Annahmebereich liegt, gerechnet mit $p_1$: $$\beta =P_{p_1}(X\le 5)=1-P_{p_1}(X\ge 6)=1-0,3770=0,6230$$ Der Test übersieht Bens Wissen also in etwa 62 von 100 Fällen.

α gegen β

Lassen sich beide Fehler klein machen? Der Regler verschiebt die Grenze $k$. Ein kleinerer Ablehnungsbereich senkt α, doch β steigt: bei $k=5$ ist $\alpha =0,0781$ und $\beta =0,3770$, bei $k=7$ ist $\alpha =0,0035$ und $\beta =0,8281$. Bei gleichem $n$ lassen sich beide nicht zugleich beliebig klein machen. Hilfe bringt nur eine größere Stichprobe: Mit $n=20$ und Ablehnungsbereich $\{9,\dots ,20\}$ sinkt $\beta$ bei $p_1=0,5$ auf 0,2517.

Mit Software lassen sich beide Verteilungen und die Fehlerflächen direkt zeichnen: Verändert man $p_1$, $k$ oder $n$, sieht man sofort, welche Fläche zu α und welche zu β gehört.

Signifikant heißt: im Ablehnungsbereich

Ein Ergebnis heißt signifikant zum Niveau α, wenn es im Ablehnungsbereich zu diesem Niveau liegt. Mehr steckt nicht dahinter. „Signifikant“ sagt nicht, dass ein Unterschied groß oder wichtig ist: Bei $n=10000$ ist schon eine Trefferquote von 25,8 % zum Niveau 5 % signifikant über $p_0=0,25$. Und es hängt vom Niveau ab: Miras 6 Treffer sind zum Niveau 5 % signifikant, zum Niveau 1 % (Bereich $\{7,\dots ,10\}$) nicht.

Was der Test nicht sagt

Der Test rechnet unter der Annahme H₀. Er sagt: Wäre Mira nur am Raten, hätte ein Ergebnis wie ihres die Wahrscheinlichkeit 0,0197. Er sagt nicht, mit welcher Wahrscheinlichkeit Mira geraten hat. Die Wahrscheinlichkeit des Ergebnisses unter H₀ ist etwas anderes als die Wahrscheinlichkeit von H₀ unter dem Ergebnis. Auch α ist eine Wahrscheinlichkeit unter H₀, nämlich H₀ fälschlich abzulehnen, und nicht die von H₀. Und wer H₀ nicht ablehnt, hat H₀ nicht bewiesen: Bens 5 Treffer zeigen nur, dass die Daten nicht ausreichen.

Umfragen im Sachzusammenhang

Bei der letzten Wahl bekam Partei X 40 %. Eine Umfrage unter 100 Personen ergibt 30 Nennungen. Getestet wird $H_0:p\ge 0,4$ gegen $H_1:p<0,4$ zum Niveau 5 %. Der Ablehnungsbereich ist $\{0,\dots ,31\}$, das Ergebnis ist signifikant. Im Bericht darf stehen: „Der Rückgang ist zum Niveau 5 % signifikant.“ Nicht stehen darf: „Mit 95 % Wahrscheinlichkeit hat X Stimmen verloren.“ Bei 32 Nennungen wäre das Ergebnis nicht signifikant, aber auch ein unveränderter Anteil wäre nicht bewiesen.