A/B 测试样本量计算器
在开始 A/B 测试前,确定每个版本需要多少访客。输入基准转化率、希望检测到的最小相对提升、显著性水平和统计功效。
常见问题
如何计算样本量?
使用双侧检验中比较两个比例的标准公式,根据基准率、提升后的比率、显著性水平对应的临界值以及统计功效对应的数值计算。
什么是最小可检测效应?
指你希望测试能够可靠检测到的最小相对变化。基准转化率为 3%、效应为 10%,表示要检测转化率是否变为 3.3%。
统计功效是什么意思?
如果效应确实存在,测试检测到该效应的概率。80% 是常见选择;统计功效越高,所需访客数越多。
为什么效应越小,需要的访客越多?
所需样本量大致与效应的平方成反比。要检测的效应减半,所需访客数约为原来的四倍。
测试要运行多久?
用总样本量除以每天的访客数即可。测试应持续完整的周数,以同时涵盖工作日和周末。
应该选择什么显著性水平?
95% 是通常的默认值。如果假阳性的代价很高,可选择 99%,但所需样本量也会增加。