Frequentistische Auswertung

Die frequentistische Auswertung ist die klassische Methode der Statistik. Sie fragt: „Wie wahrscheinlich wäre dieses Ergebnis, wenn es in Wahrheit keinen Unterschied gäbe?"

Der Test

Splitwave nutzt den Zwei-Proportionen-z-Test. Er vergleicht die Conversion-Rate einer Variante mit der Control und prüft, ob der Unterschied über den Zufall hinausgeht.

Was du bekommst

• p-Wert: Wahrscheinlichkeit, den Unterschied (oder einen größeren) ohne echten Effekt zu sehen.
• Konfidenz: 1 − p-Wert, also die Sicherheit gegen den Zufall (oft 95 %).
• Uplift: die relative Verbesserung gegenüber der Control.
• Konfidenzintervall: der plausible Bereich des wahren Effekts.

Richtig interpretieren

Der p-Wert ist nicht die Wahrscheinlichkeit, dass die Variante gewinnt. Er sagt nur etwas über die Vereinbarkeit der Daten mit „kein Effekt" aus. Wer diese direkte Gewinnwahrscheinlichkeit will, nutzt die bayessche Auswertung.

Schwellen

Ein Gewinner wird erst bei ausreichender Datenlage ausgerufen – siehe Signifikanz & Laufzeit.