A/Bテストの実施方法

対象読者

マーケティング、プロダクト、非営利、ビジネスの研究者であり、バージョンBがバージョンAと比べて異なるパフォーマンスを示すかどうかを明確に検証する必要があるチーム。

手順

1. テストが意思決定に役立てるべき「特定の判断」を1つ書き下す。
2. データ収集前に、単一の主要アウトカムを選ぶ。
3. バージョンAを最初の参照条件、バージョンBを2番目の条件として、調査実験を作成する。
4. 意図した処置（treatment）の差以外の要素は、すべて一定に保つ。
5. 回答者を無作為に割り付け、計画したサンプルを収集し、序盤の結果が好ましく見えるために中止しない。
6. ［Results］で主要アウトカムを選び、平均差、95%信頼区間、そして処置対参照のグラフを読む。
7. 結果、サンプルサイズ、不確実性、ならびに除外（exclusions）がある場合はそれらを、ビジネス上の推奨と併せて報告する。

重要な理由

A/Bテストは、非公式な好みの議論を、無作為化による比較に置き換えます。最初の条件が参照であり、推定された平均差は、テストしたサンプルにおいて選択したアウトカムが2番目のバージョンによってどのように変化したかを示します。

実施前チェックリスト

• 意味のある変更は1つだけにする。
• 単一の主要アウトカムを事前に選ぶ。
• 無作為割付を用いる。
• 公開（launch）前にサンプルサイズを計画する。
• p値だけでなく信頼区間を読む。
• 肯定的結果だけでなく帰無（null）も文書化する。

よくある質問

関連ガイド