如何选择 A/B 测试指标

选择一个主要结局（primary outcome），将实验与真实的市场或产品决策相联系。

简要回答

选择一个主要结局（primary outcome），将实验与真实的市场或产品决策相联系。从将改变（if the test succeeds）决策的那件事开始。选择一个与该决策紧密相关的单一主要指标（primary metric），并确保其能对处理（treatment）作出响应。明确该指标如何计算以及哪些受访者会进入计算。

适用对象

决定是否衡量点击、理解程度、购买意向、注册量、满意度、保留意向（retention intent）或其他业务结局的团队。

步骤

从将改变（if the test succeeds）决策的那件事开始。
选择一个与该决策紧密相关的单一主要指标（primary metric），并确保其能对处理（treatment）作出响应。
明确该指标如何计算以及哪些受访者会进入计算。
仅在能解释机制（mechanism）或防止损害（guard against harm）时再添加次要指标（secondary metrics）。
在上线前设定观察窗口（observation window）。
检查两个实验臂（experiment arms）能否以同样方式生成该指标。
在分析计划（analysis plan）中记录指标定义。

为何重要

一个实验可能对错误的问题给出统计上“整洁”的答案。清晰界定的主要指标可限制选择性报告，并使最终建议更易于辩护。

开展调查前

使用一个主要指标。
定义分子（numerator）和分母（denominator）。
确保在两个实验臂之间测量方式完全一致。
将诊断指标（diagnostic metrics）与决策指标（decision metrics）分开。
在看到结果后不要更改指标。

常见问题

本指南有什么用途？

决定是否衡量点击、理解程度、购买意向、注册量、满意度、保留意向（retention intent）或其他业务结局的团队。

基本流程是什么？

从将改变（if the test succeeds）决策的那件事开始。选择一个与该决策紧密相关的单一主要指标（primary metric），并确保其能对处理（treatment）作出响应。明确该指标如何计算以及哪些受访者会进入计算。仅在能解释机制（mechanism）或防止损害（guard against harm）时再添加次要指标（secondary metrics）。

开展调查前应检查什么？

使用一个主要指标。定义分子（numerator）和分母（denominator）。确保在两个实验臂之间测量方式完全一致。将诊断指标（diagnostic metrics）与决策指标（decision metrics）分开。