A/B 测试显著性计算器
检查两个转化率之间的差异是否具有统计显著性。输入 A 和 B 两个版本的访客数与转化数,即可获得两个转化率、相对提升幅度、差值的置信区间、z 分数和双侧 p 值。
常见问题
使用什么检验?
使用双侧双比例 z 检验,并采用合并标准误。这是比较两组转化率的标准检验。
p 值说明什么?
如果两个版本的实际转化效果相同,观察到至少这么大差异的概率。如果 p 值低于 1 减去置信水平(例如 95% 置信水平下低于 0.05),则结果视为显著。
相对提升幅度是什么?
B 的转化率相对于 A 的转化率高出或低出的百分比。转化率从 2% 提升到 2.5%,提升幅度为 25%。
一旦结果显著,我可以立即停止测试吗?
反复检查并在首次出现显著结果时停止,会增加假阳性。请预先确定样本量,例如使用 A/B 测试样本量计算器,然后评估一次。
差值区间显示什么?
在所选置信水平下,B 的转化率减去 A 的转化率后,合理可能取值的范围,单位为百分点。如果该范围包含零,则测试结果不显著。
样本数很少时也能用吗?
z 检验依赖正态近似,因此每组需要足够多的转化数;通常至少为 10。少于此数时,结果不可靠。