Experiment Bench · 实验工作台

A/B 测试样本量计算器

填入基线转化率与最小可检测提升 MDE,立刻算出每组需要多少样本、实验要跑多少天才看得见真实差异;附带显著性水平、功效、多组修正与序贯早停边界参考。

两比例检验公式 多重比较 Bonferroni 修正 MDE 敏感性对照表 双分布曲线可视化 序贯早停边界参考

实验参数

Inputs
效果假设
%
%相对
统计口径
%
%
流量与组数
人/天
组

检验力可视化

蓝 = 原假设分布,绿 = 备择假设分布;红 = α 区,橙 = β 区Power View

MDE 敏感性

MDE 每降一档,所需样本量成倍上升MDE Sweep
MDE(相对) 实验组转化率 绝对提升 每组样本 预计天数 倍数(相对当前 MDE)

序贯早停边界参考

O'Brien-Fleming 型边界(4 次检查,双侧 α=5%);中期显著需越过更严的边界Sequential Bounds
检查点 累计样本占比 每组累计样本 z 边界 对应 p 值 说明

序贯设计按「信息比例」控制总体 α 不被反复偷看消耗:检查越早,边界越严。若中途观察到效应已稳定越过对应边界,可提前结束;否则应跑满计划样本。上表为理论参考值,实际落地建议使用专业序贯检验平台。

先算样本,再开实验

样本量不足的实验,即使改动真的有效也可能被随机噪声埋掉(第二类错误);而边跑边看、显著就停会大幅放大假阳性。算清样本量再开跑,是对结论负责的前提。

MDE 是业务决策

MDE 不是统计参数,而是「多小的提升值得我们动手」。取业务上能行动的最小效果:再小的提升即使测出来也没意义,而 MDE 每缩一半,样本量约翻两番。

功效别低于 80%

80% 功效意味着「若真实效果达到 MDE,有 80% 概率被检出」。低于它,实验更像抛硬币;功效越高样本越贵,90% 与 80% 之间的样本量差距接近三分之一。

多组别忘修正

同时跑多个实验组时,每组都按 5% 判断,整体假阳性会累积超标。Bonferroni 用 α÷组数收紧标准;组数越多,每组需要的样本越多,这是多重比较的代价。

A/B 测试样本量怎么算?
两比例检验的常用公式:每组 n =(z_α/2 + z_β)² × [p₁(1−p₁) + p₂(1−p₂)] ÷ (p₂−p₁)²,其中 p₁ 为基线转化率,p₂ = p₁ ×(1 + MDE),z_α/2 由显著性水平决定(双侧 5% 对应 1.96),z_β 由功效决定(80% 功效对应 0.84)。
MDE 选多大合适?
MDE 是「值得检测的最小差异」。业务上不足以行动的小提升,测出来也没有意义;但 MDE 每缩小一半,所需样本量约翻两番。常见做法是取历史改动的典型效果量,再留出流量能支撑的余量。
为什么要提前算样本量?
样本量不足的实验等于抛硬币:即便改动真的有效,也可能因为随机波动看不出来(第二类错误);而边跑边看、显著就停,会大幅放大假阳性率。先算样本量再开跑,是对结果负责的前提。
多组实验为什么要修正显著性水平?
同时比较多个实验组时,每组都按 5% 显著性判断,整体假阳性概率会累积超过 5%。Bonferroni 修正把 α 除以实验组个数,用更严的标准换整体错误率可控;本工具按你填的实验组数自动调整。

本页所有结果为基于两比例检验正态近似公式的本地估算,不构成统计咨询;实际实验设计请结合流量结构、指标类型(比率/均值)与业务约束,必要时咨询数据科学家。