So berechnen Sie Conversion Lift

Übertragen Sie Treatment- und Referenz-Conversion-Raten in absolute und relative Lift-Werte, ohne das Ergebnis zu übertreiben.

Kurzantwort

Übertragen Sie Treatment- und Referenz-Conversion-Raten in absolute und relative Lift-Werte, ohne das Ergebnis zu übertreiben. Berechnen Sie die Conversion-Rate getrennt für die Referenz- und die Treatment-Gruppe. Subtrahieren Sie die Referenzrate von der Treatment-Rate, um den absoluten Lift in Prozentpunkten zu erhalten. Teilen Sie die absolute Differenz durch die Referenzrate, um den relativen Lift zu erhalten, falls die Referenzrate nicht null ist.

Für wen dieser Leitfaden ist

Forschende und Manager, die binäre Outcomes wie geklickt, angemeldet, gekauft, gespendet oder verlängert/renewed interpretieren.

Schritte

Berechnen Sie die Conversion-Rate getrennt für die Referenz- und die Treatment-Gruppe.
Subtrahieren Sie die Referenzrate von der Treatment-Rate, um den absoluten Lift in Prozentpunkten zu erhalten.
Teilen Sie die absolute Differenz durch die Referenzrate, um den relativen Lift zu erhalten, falls die Referenzrate nicht null ist.
Berichten Sie die Stichprobengröße und das 95%-Konfidenzintervall für die Differenz.
Übersetzen Sie die Schätzung in erwartete zusätzliche Conversions auf einem realistischen Traffic-Level.
Prüfen Sie, ob der plausible Wertebereich Effekte einschließt, die operational zu klein wären, um relevant zu sein.

Warum das wichtig ist

Absolute und relative Lift beantworten unterschiedliche Fragen. Eine Änderung von 10% auf 12% ist ein Anstieg um 2 Prozentpunkte und ein relativer Lift von 20%; ausschließlich die größer wirkende Zahl zu berichten, kann Entscheidungstragende in die Irre führen.

Vor der Feldphase

Beschriften Sie Prozentpunkte und Prozent korrekt.
Zeigen Sie die Raten beider Gruppen.
Beziehen Sie Unsicherheit ein.
Verknüpfen Sie Lift mit realistischem Volumen.
Behandeln Sie statistische Signifikanz nicht als Geschäftsrelevanz.

Häufige Fragen

Wofür ist dieser Leitfaden gedacht?

Forschende und Manager, die binäre Outcomes wie geklickt, angemeldet, gekauft, gespendet oder verlängert/renewed interpretieren.

Wie sieht der grundlegende Ablauf aus?

Berechnen Sie die Conversion-Rate getrennt für die Referenz- und die Treatment-Gruppe. Subtrahieren Sie die Referenzrate von der Treatment-Rate, um den absoluten Lift in Prozentpunkten zu erhalten. Teilen Sie die absolute Differenz durch die Referenzrate, um den relativen Lift zu erhalten, falls die Referenzrate nicht null ist. Berichten Sie die Stichprobengröße und das 95%-Konfidenzintervall für die Differenz.

Was sollte vor der Feldphase geprüft werden?

Beschriften Sie Prozentpunkte und Prozent korrekt. Zeigen Sie die Raten beider Gruppen. Beziehen Sie Unsicherheit ein. Verknüpfen Sie Lift mit realistischem Volumen.