コンバージョン・リフトの算出方法

対象読者

クリックした、登録した、購入した、寄付した、更新したといった2値アウトカムを解釈する研究者およびマネージャー。

手順

1. 参照群と処置群で、それぞれコンバージョン率を別々に計算する。
2. 参照率を処置率から引き、絶対的リフト（パーセンテージポイント）を求める。
3. 参照率がゼロでない場合、絶対差を参照率で割って相対的リフトを求める。
4. 差のサンプルサイズと95%信頼区間を報告する。
5. 推定値を、現実的なトラフィック水準における期待される追加コンバージョンに翻訳する。
6. あり得る範囲に、運用上は重要とならないほど小さい効果が含まれるかを確認する。

重要な理由

絶対的リフトと相対的リフトは異なる問いに答えます。10%から12%への変化は、2パーセンテージポイントの増加であり、相対的リフトとしては20%です。大きく見える数値だけを報告すると、意思決定者を誤らせ得ます。

実施前チェックリスト

• パーセンテージポイントとパーセントを正しくラベル付けする。
• 両群の率を併記する。
• 不確実性を含める。
• リフトを現実的なボリュームに結び付ける。
• 統計的有意性をビジネス上の重要性として扱わない。

よくある質問

関連ガイド