So segmentieren Sie Experimentergebnisse

Prüfen Sie, ob sich ein Experiment zwischen Kundengruppen oder Zielgruppen unterscheidet, ohne jede Subgruppe in eine Behauptung zu verwandeln.

Kurzantwort

Prüfen Sie, ob sich ein Experiment zwischen Kundengruppen oder Zielgruppen unterscheidet, ohne jede Subgruppe in eine Behauptung zu verwandeln. Wählen Sie Segmentierungsvariablen, die vor der Behandlung gemessen wurden. Legen Sie die wichtigsten Segmente fest, bevor Sie die Ergebnisse sehen. Prüfen Sie die Stichprobengrößen innerhalb jeder Treatment-×-Segment-Zelle.

Für wen dieser Leitfaden ist

Analysten, die Ergebnisse nach Kundentyp, Markt, vorherigem Verhalten, Demografie oder anderen Merkmalen vor der Behandlung (Pre-treatment) untersuchen.

Schritte

Wählen Sie Segmentierungsvariablen, die vor der Behandlung gemessen wurden.
Legen Sie die wichtigsten Segmente fest, bevor Sie die Ergebnisse sehen.
Prüfen Sie die Stichprobengrößen innerhalb jeder Treatment-×-Segment-Zelle.
Schätzen Sie eine Interaktion zwischen Treatment und Segment, statt separate p-Werte zu vergleichen.
Berichten Sie den gesamten Treatment-Effekt zusammen mit den Segment-Schätzungen.
Behandeln Sie unplanmäßige Muster in Subgruppen als explorativ und validieren Sie sie in neuen Daten.

Warum das wichtig ist

Ein Treatment kann in einer Segmentgruppe signifikant wirken und in einer anderen nicht, selbst wenn sich die Segment-Effekte statistisch nicht unterscheiden. Die Interaktionsanalyse testet direkt, ob sich Treatment-Effekte zwischen Gruppen unterscheiden.

Vor der Feldphase

Verwenden Sie Pre-treatment-Segmente.
Prüfen Sie die Zellgrößen.
Testen Sie Interaktionen.
Begrenzen Sie die Anzahl der Segmente.
Kennzeichnen Sie explorative Befunde.
Vermeiden Sie Targeting-Entscheidungen auf Basis instabiler kleiner Gruppen.

Häufige Fragen

Wofür ist dieser Leitfaden gedacht?

Analysten, die Ergebnisse nach Kundentyp, Markt, vorherigem Verhalten, Demografie oder anderen Merkmalen vor der Behandlung (Pre-treatment) untersuchen.

Wie sieht der grundlegende Ablauf aus?

Wählen Sie Segmentierungsvariablen, die vor der Behandlung gemessen wurden. Legen Sie die wichtigsten Segmente fest, bevor Sie die Ergebnisse sehen. Prüfen Sie die Stichprobengrößen innerhalb jeder Treatment-×-Segment-Zelle. Schätzen Sie eine Interaktion zwischen Treatment und Segment, statt separate p-Werte zu vergleichen.

Was sollte vor der Feldphase geprüft werden?

Verwenden Sie Pre-treatment-Segmente. Prüfen Sie die Zellgrößen. Testen Sie Interaktionen. Begrenzen Sie die Anzahl der Segmente.