如何开展 A/B 测试

通过随机分配比较两种版本的消息、报价、页面概念或客户体验。

简要回答

通过随机分配比较两种版本的消息、报价、页面概念或客户体验。写出测试应告知的一个具体决策。在收集数据之前选择一个单一主要结局（primary outcome）。创建一项以版本 A 作为第一参考条件（reference condition），版本 B 作为第二条件（second condition）的调查实验。

适用对象

需要清晰判断版本 B 是否相较版本 A 表现不同的市场、产品、非营利组织及商业研究团队。

步骤

写出测试应告知的一个具体决策。
在收集数据之前选择一个单一主要结局（primary outcome）。
创建一项以版本 A 作为第一参考条件（reference condition），版本 B 作为第二条件（second condition）的调查实验。
除预期的处理差异外，保持每个要素都不变。
随机分配受访者、收集计划样本，并且在早期结果看起来更有利时不要停止。
在 Results（结果）中选择主要结局，并阅读均值差异（mean difference）、95% 置信区间（confidence interval）以及处理-参考（treatment-versus-reference）的图。
在业务建议（business recommendation）旁报告结果、样本量、不确定性以及任何排除（exclusions）。

为何重要

A/B 测试以随机对比取代非正式的偏好争论。第一条件作为参考条件，估计的均值差异显示第二个版本在测试样本中如何改变所选结局。

开展调查前

一次只改变一个有意义的东西。
事先选择主要结局。
使用随机分配。
上线前规划样本量。
阅读置信区间，而不仅是 p-value。
同时记录零效应（null）与正结果（positive results）。

常见问题

本指南有什么用途？

需要清晰判断版本 B 是否相较版本 A 表现不同的市场、产品、非营利组织及商业研究团队。

基本流程是什么？

写出测试应告知的一个具体决策。在收集数据之前选择一个单一主要结局（primary outcome）。创建一项以版本 A 作为第一参考条件（reference condition），版本 B 作为第二条件（second condition）的调查实验。除预期的处理差异外，保持每个要素都不变。

开展调查前应检查什么？

一次只改变一个有意义的东西。事先选择主要结局。使用随机分配。上线前规划样本量。