Signifikanz & Laufzeit

Signifikanz und Laufzeit entscheiden darüber, ob du einem Ergebnis trauen kannst. Zu früh gestoppte Tests sind eine der häufigsten Fehlerquellen.

Mindest-Conversions

Splitwave ruft einen Gewinner erst aus, wenn pro Variante genügend Conversions vorliegen (Default: 100). Wenige Conversions führen schnell zu Scheinergebnissen.

Konfidenzniveau

Zusätzlich muss die Konfidenz die Schwelle erreichen (Default: 95 %). Beides – Mindest-Conversions und Konfidenz – wird geprüft, bevor „Gewinner" gemeldet wird.

Warum nicht zu früh stoppen?

Frühe Ausschläge sind oft Rauschen. Wer beim ersten Vorsprung abbricht (Peeking), überschätzt Effekte systematisch. Lass den Test laufen, bis die Schwellen erreicht sind.

Laufzeit planen

• Mindestens eine, besser zwei vollständige Wochen, um Wochentags-Effekte abzudecken.
• Mehr Traffic oder ein größerer Effekt → kürzere Laufzeit.
• Sehr enge Audiences verlängern die Laufzeit.

Zu wenig Daten

Reichen die Daten nicht, meldet Splitwave bewusst „nicht signifikant" statt einer Fehlinterpretation.