Glossar
Die wichtigsten Begriffe rund um A/B-Testing und Experimentation – kurz und klar erklärt.
A/B-Test
Ein Experiment, das zwei oder mehr Varianten einer Seite oder Funktion gegeneinander testet, um die wirksamere zu ermitteln.
Variante
Eine der Ausführungen in einem Experiment. Die unveränderte Version heißt Control.
Control
Die Ausgangs- bzw. Originalvariante, gegen die alle anderen verglichen werden.
Conversion-Rate
Anteil der Besucher, die ein definiertes Ziel erreichen, an allen Besuchern einer Variante.
Uplift
Die relative Verbesserung einer Variante gegenüber der Control, meist in Prozent.
Statistische Signifikanz
Maß dafür, wie unwahrscheinlich ein beobachteter Unterschied durch Zufall entstanden ist.
Konfidenzniveau
Die Sicherheit, mit der ein Ergebnis nicht auf Zufall beruht – häufig 95 %.
p-Wert
Wahrscheinlichkeit, den beobachteten (oder einen extremeren) Unterschied zu sehen, wenn es in Wahrheit keinen Effekt gibt.
Bucketing
Die deterministische Zuteilung eines Besuchers zu einer Variante – in Splitwave per FNV-1a-Hash.
Audience
Eine Zielgruppe, auf die ein Experiment eingegrenzt wird, definiert über Bedingungen wie Gerät oder URL.
Goal (Ziel)
Die messbare Aktion, deren Erfolg ein Experiment bewertet – z. B. Klick, Seitenaufruf oder Umsatz.
Bayes-Statistik
Auswertungsmethode, die die Wahrscheinlichkeit angibt, dass eine Variante die Control schlägt.
Frequentistische Statistik
Klassische Auswertung über Hypothesentests mit p-Wert und Konfidenzniveau.
Exclusion Group
Eine Gruppe sich gegenseitig ausschließender Experimente – ein Besucher nimmt an höchstens einem teil.
Stichprobengröße
Die Anzahl Besucher, die nötig ist, um einen Effekt verlässlich nachzuweisen.
Minimum Detectable Effect (MDE)
Der kleinste Effekt, den ein Test bei gegebener Stichprobengröße zuverlässig erkennen kann.