So führen Sie einen A/B-Test durch

Vergleichen Sie zwei Versionen einer Botschaft, eines Angebots, einer Seitenidee oder einer Customer Experience mit zufälliger Zuweisung.

Kurzantwort

Vergleichen Sie zwei Versionen einer Botschaft, eines Angebots, einer Seitenidee oder einer Customer Experience mit zufälliger Zuweisung. Formulieren Sie eine konkrete Entscheidung, die der Test informieren soll. Wählen Sie vor der Datenerhebung genau ein primäres Outcome. Erstellen Sie ein Survey-Experiment mit Version A als erster Referenzbedingung und Version B als zweiter Bedingung.

Für wen dieser Leitfaden ist

Marketing-, Produkt-, Nonprofit- und Business-Forschende, die einen klaren Test dafür benötigen, ob Version B anders abschneidet als Version A.

Schritte

Formulieren Sie eine konkrete Entscheidung, die der Test informieren soll.
Wählen Sie vor der Datenerhebung genau ein primäres Outcome.
Erstellen Sie ein Survey-Experiment mit Version A als erster Referenzbedingung und Version B als zweiter Bedingung.
Halten Sie jedes Element konstant, außer der beabsichtigten Behandlung-differenz.
Weisen Sie Respondenten zufällig zu, erheben Sie die geplante Stichprobe und brechen Sie nicht ab, nur weil ein frühes Ergebnis günstig aussieht.
Wählen Sie in Results das primäre Outcome und lesen Sie die mittlere Differenz, das 95%-Konfidenzintervall sowie den Graphen Treatment-versus-reference.
Berichten Sie das Ergebnis, die Stichprobengröße, die Unsicherheit und alle Ausschlüsse zusammen mit der Business-Empfehlung.

Warum das wichtig ist

A/B-Tests ersetzen informelle Präferenzdebatten durch einen randomisierten Vergleich. Die erste Bedingung dient als Referenz, und die geschätzte mittlere Differenz zeigt, wie die zweite Version das ausgewählte Outcome in der getesteten Stichprobe verändert hat.

Vor der Feldphase

Ändern Sie jeweils nur eine bedeutende Sache.
Legen Sie das primäre Outcome im Voraus fest.
Nutzen Sie eine zufällige Zuweisung.
Planen Sie die Stichprobengröße vor dem Start.
Lesen Sie das Konfidenzintervall, nicht nur den p-Wert.
Dokumentieren Sie auch Null- sowie positive Ergebnisse.

Häufige Fragen

Wofür ist dieser Leitfaden gedacht?

Marketing-, Produkt-, Nonprofit- und Business-Forschende, die einen klaren Test dafür benötigen, ob Version B anders abschneidet als Version A.

Wie sieht der grundlegende Ablauf aus?

Formulieren Sie eine konkrete Entscheidung, die der Test informieren soll. Wählen Sie vor der Datenerhebung genau ein primäres Outcome. Erstellen Sie ein Survey-Experiment mit Version A als erster Referenzbedingung und Version B als zweiter Bedingung. Halten Sie jedes Element konstant, außer der beabsichtigten Behandlung-differenz.

Was sollte vor der Feldphase geprüft werden?

Ändern Sie jeweils nur eine bedeutende Sache. Legen Sie das primäre Outcome im Voraus fest. Nutzen Sie eine zufällige Zuweisung. Planen Sie die Stichprobengröße vor dem Start.