So wählen Sie eine Metrik für einen A/B-Test

Wählen Sie ein primäres Outcome, das ein Experiment mit einer realen Marketing- oder Produktentscheidung verknüpft.

Kurzantwort

Wählen Sie ein primäres Outcome, das ein Experiment mit einer realen Marketing- oder Produktentscheidung verknüpft. Starten Sie mit der Entscheidung, die sich ändert, falls der Test erfolgreich ist. Wählen Sie genau eine primäre Metrik, die nah an dieser Entscheidung liegt und auf die Behandlung reagieren kann. Definieren Sie exakt, wie die Metrik berechnet wird und welche Respondenten in sie eingehen.

Für wen dieser Leitfaden ist

Teams, die entscheiden, ob sie Klicks, Verständnis, Kaufabsicht, Anmeldungen, Zufriedenheit, Retentionsabsicht oder ein anderes Business-Outcome messen sollen.

Schritte

Starten Sie mit der Entscheidung, die sich ändert, falls der Test erfolgreich ist.
Wählen Sie genau eine primäre Metrik, die nah an dieser Entscheidung liegt und auf die Behandlung reagieren kann.
Definieren Sie exakt, wie die Metrik berechnet wird und welche Respondenten in sie eingehen.
Fügen Sie sekundäre Metriken nur hinzu, wenn sie den Mechanismus erklären oder vor Schaden schützen.
Setzen Sie das Beobachtungsfenster vor dem Start.
Prüfen Sie, dass beide Experimentarme die Metrik auf die gleiche Weise erzeugen können.
Dokumentieren Sie die Metrikdefinition im Analyseplan.

Warum das wichtig ist

Ein Experiment kann eine statistisch saubere Antwort auf die falsche Frage liefern. Eine klar definierte primäre Metrik begrenzt selektives Reporting und erleichtert es, die finale Empfehlung zu vertreten.

Vor der Feldphase

Verwenden Sie genau eine primäre Metrik.
Definieren Sie Zähler und Nenner.
Messen Sie unverändert über beide Arme hinweg.
Trennen Sie Diagnosemetriken von Entscheidungsmetriken.
Ändern Sie die Metrik nicht, nachdem Sie Ergebnisse gesehen haben.

Häufige Fragen

Wofür ist dieser Leitfaden gedacht?

Teams, die entscheiden, ob sie Klicks, Verständnis, Kaufabsicht, Anmeldungen, Zufriedenheit, Retentionsabsicht oder ein anderes Business-Outcome messen sollen.

Wie sieht der grundlegende Ablauf aus?

Starten Sie mit der Entscheidung, die sich ändert, falls der Test erfolgreich ist. Wählen Sie genau eine primäre Metrik, die nah an dieser Entscheidung liegt und auf die Behandlung reagieren kann. Definieren Sie exakt, wie die Metrik berechnet wird und welche Respondenten in sie eingehen. Fügen Sie sekundäre Metriken nur hinzu, wenn sie den Mechanismus erklären oder vor Schaden schützen.

Was sollte vor der Feldphase geprüft werden?

Verwenden Sie genau eine primäre Metrik. Definieren Sie Zähler und Nenner. Messen Sie unverändert über beide Arme hinweg. Trennen Sie Diagnosemetriken von Entscheidungsmetriken.