当分组后每个子样本的结论都与总体相反,先别改结论,要查的是分母。总体指标把不同入口、不同页面类型或不同设备混在一起时,各组权重会互相抵消,形成辛普森悖论。处理顺序是:确认总体与分组的分子分母定义是否一致,再检查分组变量是否与另一个强影响因素高度重合,最后用统一分母重算或分层对比,而不是直接采信任意一层。
总体转化率的分母通常是全部会话或全部曝光,而分组后的分母可能只统计了满足某条件的会话,比如只含登录用户、只含自然搜索落地页、只含停留超过十秒的访问。分母定义一变,分子相同也会得出相反方向。
可执行动作:把总体和每个分组的分子、分母分别列出来,标注数据来源和过滤条件。如果发现分组分母排除了某类访问,就把这部分补回或从总体中同步剔除,再比较一次。结果如果方向翻转,说明原来的差异来自口径而非真实效果。
分组后结论相反,常见原因是分组变量本身携带了另一个混杂因素。例如按“是否有站内搜索行为”分组,有搜索行为的用户可能同时更接近购买决策,也可能更多来自品牌词落地页。这时分组比较的是搜索行为,实际比较的却是用户意图或流量来源。
可区分原因的证据:
可执行动作:选定一个所有分组都适用的分母,例如“同一时间窗口内全部自然搜索落地页会话”,然后对总体和每个分组都用这个分母重算指标。重算后如果总体与分组方向一致,说明原来的相反来自分母范围不同;如果仍然相反,再进入下一步查混杂。
假设例子:某站总体转化率看似高于移动端分组,但总体分母包含大量桌面端品牌词会话,而移动端分组分母只含非品牌词会话。统一到“非品牌词会话”后,移动端反而更高。这个例子只说明比较方法,不表示任何真实站点数据。
分层对比能回答“在什么条件下成立”。把流量来源、设备、页面类型逐层固定,观察每层内部方向是否一致。如果多数层内部方向一致,只是权重不同导致总体相反,可以按业务关心的权重合并;如果各层方向本身就不同,就不要合并成单一结论。
边界要写清楚:分组结论只在满足该分组定义的分母范围内成立,不能直接推广到全站。例如“注册页在移动端转化更高”不能推导为“全站移动端体验更好”。下一步动作是把分层结果转成待验证假设,并指定用哪个分母、哪个时间窗口去复核,而不是直接改版或调预算。
这套顺序的价值在于:每次出现分组与总体相反时,先按固定动作排查分母,而不是凭直觉选一个结论。排查结果会直接决定下一步是补数据、改口径,还是进入真正的页面或内容诊断。