如何分组（Segment）解读实验结果

在不把每个子组都当作结论的情况下，考察实验是否在不同客户或受众群体间存在差异。

简要回答

在不把每个子组都当作结论的情况下，考察实验是否在不同客户或受众群体间存在差异。选择在处理（treatment）之前测量的分组变量（segmentation variables）。在看到结果之前明确最重要的分组。检查每个“处理-分组”（treatment-by-segment）单元格内的样本量。

适用对象

按客户类型、市场、既往行为、人口统计特征或其他处理前特征（pre-treatment characteristics）来探索结果的分析人员。

步骤

选择在处理（treatment）之前测量的分组变量（segmentation variables）。
在看到结果之前明确最重要的分组。
检查每个“处理-分组”（treatment-by-segment）单元格内的样本量。
估计处理与分组之间的交互作用（interaction），而不是比较不同的 p-value。
在分组估计的同时报告总体处理效应（overall treatment effect）。
将计划外的子组模式（subgroup patterns）视为探索性（exploratory），并在新数据中进行验证。

为何重要

即使分组效应在统计上并不不同，某个处理在一个分组中可能显著，而在另一个分组中不显著。交互分析会直接检验处理效应是否会在不同群体间变化。

开展调查前

使用处理前分组。
检查单元格样本量。
检验交互作用。
限制分组数量。
标注探索性发现。
避免基于不稳定的小样本组进行定向决策。

常见问题

本指南有什么用途？

按客户类型、市场、既往行为、人口统计特征或其他处理前特征（pre-treatment characteristics）来探索结果的分析人员。

基本流程是什么？

选择在处理（treatment）之前测量的分组变量（segmentation variables）。在看到结果之前明确最重要的分组。检查每个“处理-分组”（treatment-by-segment）单元格内的样本量。估计处理与分组之间的交互作用（interaction），而不是比较不同的 p-value。

开展调查前应检查什么？

使用处理前分组。检查单元格样本量。检验交互作用。限制分组数量。