如何解读用于业务决策的置信区间（Confidence Intervals）

用合理效应范围来做决策，而不是把实验简化为“显著/不显著”。

简要回答

用合理效应范围来做决策，而不是把实验简化为“显著/不显著”。确定估计的均值差异（estimated mean difference）或转化提升（conversion lift）。读取95%置信区间（95% confidence interval）的下限与上限。定义对业务而言最小仍然重要的效应（the smallest effect that would matter）。

适用对象

将实验估计转化为可操作建议的管理者、分析师与研究人员。

步骤

确定估计的均值差异（estimated mean difference）或转化提升（conversion lift）。
读取95%置信区间（95% confidence interval）的下限与上限。
定义对业务而言最小仍然重要的效应（the smallest effect that would matter）。
检查置信区间是否排除了有害影响，或是否排除了在运营上可忽略的影响。
将证据与落地成本、风险与可逆性（reversibility）结合考虑。
用通俗语言描述不确定性，并避免声称该置信区间包含了95%个体层面的所有结果。

为何重要

p值并不能告诉管理者效应大小是否足以支撑行动。置信区间显示哪些效应规模仍与数据相容，并支持能够同时考虑上行与下行风险的决策。

开展调查前

先呈现估计值。
展示区间。
定义实际重要性。
考虑下行风险。
不要把“不显著”直接等同为“没有效应”。
把证据与最终业务判断明确分开。

常见问题

本指南有什么用途？

将实验估计转化为可操作建议的管理者、分析师与研究人员。

基本流程是什么？

确定估计的均值差异（estimated mean difference）或转化提升（conversion lift）。读取95%置信区间（95% confidence interval）的下限与上限。定义对业务而言最小仍然重要的效应（the smallest effect that would matter）。检查置信区间是否排除了有害影响，或是否排除了在运营上可忽略的影响。

开展调查前应检查什么？

先呈现估计值。展示区间。定义实际重要性。考虑下行风险。