A/Bテストの主要指標を選ぶ方法
実験を実際のマーケティングまたはプロダクトの意思決定につなぐ主要アウトカムを選択します。
要点
実験を実際のマーケティングまたはプロダクトの意思決定につなぐ主要アウトカムを選択します。 テストが成功した場合に変わる意思決定から始める。 その意思決定に近い、かつ処置（treatment）に応答しうる単一の主要指標を選ぶ。 指標がどのように計算され、どの回答者が含まれるかを正確に定義する。
対象読者
クリック、理解度、購入意向、登録、満足度、継続意向、またはその他のビジネス上のアウトカムを測定すべきかを判断するチーム。
手順
- テストが成功した場合に変わる意思決定から始める。
- その意思決定に近い、かつ処置（treatment）に応答しうる単一の主要指標を選ぶ。
- 指標がどのように計算され、どの回答者が含まれるかを正確に定義する。
- 仕組みの説明や害の防止に役立つ場合にのみ、二次指標を追加する。
- 観測期間（observation window）を公開前に設定する。
- 両方の実験アームが同じ方法でその指標を生成できることを確認する。
- 分析計画とともに、指標定義を記録する。
重要な理由
実験は、誤った問いに対して統計的に整った答えを生み出し得ます。明確に定義された主要指標は選択的報告を抑え、最終的な推奨の正当性を高めます。
実施前チェックリスト
- 主要指標は1つにする。
- 分子と分母を定義する。
- 計測は両アームで同一に保つ。
- 診断用指標と意思決定用指標を分ける。
- 結果を見た後で指標を変えない。
よくある質問
このガイドは何のためのものですか？
クリック、理解度、購入意向、登録、満足度、継続意向、またはその他のビジネス上のアウトカムを測定すべきかを判断するチーム。
基本的な流れは何ですか？
テストが成功した場合に変わる意思決定から始める。 その意思決定に近い、かつ処置（treatment）に応答しうる単一の主要指標を選ぶ。 指標がどのように計算され、どの回答者が含まれるかを正確に定義する。 仕組みの説明や害の防止に役立つ場合にのみ、二次指標を追加する。
実施前に何を確認すべきですか？
主要指標は1つにする。 分子と分母を定義する。 計測は両アームで同一に保つ。 診断用指標と意思決定用指標を分ける。
関連ガイド
製品名および調査プラットフォーム名は、それぞれの所有者に帰属します。Conjoint Survey は独立したツールであり、これらのサービスとの提携、支援、または推奨関係はありません。