填入基线转化率与最小可检测提升 MDE,立刻算出每组需要多少样本、实验要跑多少天才看得见真实差异;附带显著性水平、功效、多组修正与序贯早停边界参考。
| MDE(相对) | 实验组转化率 | 绝对提升 | 每组样本 | 预计天数 | 倍数(相对当前 MDE) |
|---|
| 检查点 | 累计样本占比 | 每组累计样本 | z 边界 | 对应 p 值 | 说明 |
|---|
序贯设计按「信息比例」控制总体 α 不被反复偷看消耗:检查越早,边界越严。若中途观察到效应已稳定越过对应边界,可提前结束;否则应跑满计划样本。上表为理论参考值,实际落地建议使用专业序贯检验平台。
样本量不足的实验,即使改动真的有效也可能被随机噪声埋掉(第二类错误);而边跑边看、显著就停会大幅放大假阳性。算清样本量再开跑,是对结论负责的前提。
MDE 不是统计参数,而是「多小的提升值得我们动手」。取业务上能行动的最小效果:再小的提升即使测出来也没意义,而 MDE 每缩一半,样本量约翻两番。
80% 功效意味着「若真实效果达到 MDE,有 80% 概率被检出」。低于它,实验更像抛硬币;功效越高样本越贵,90% 与 80% 之间的样本量差距接近三分之一。
同时跑多个实验组时,每组都按 5% 判断,整体假阳性会累积超标。Bonferroni 用 α÷组数收紧标准;组数越多,每组需要的样本越多,这是多重比较的代价。
本页所有结果为基于两比例检验正态近似公式的本地估算,不构成统计咨询;实际实验设计请结合流量结构、指标类型(比率/均值)与业务约束,必要时咨询数据科学家。