跳转到正文

A/B 测试显著性计算器

检查两个转化率之间的差异是否具有统计显著性。输入 A 和 B 两个版本的访客数与转化数,即可获得两个转化率、相对提升幅度、差值的置信区间、z 分数和双侧 p 值。

重置

常见问题

使用什么检验?

使用双侧双比例 z 检验,并采用合并标准误。这是比较两组转化率的标准检验。

p 值说明什么?

如果两个版本的实际转化效果相同,观察到至少这么大差异的概率。如果 p 值低于 1 减去置信水平(例如 95% 置信水平下低于 0.05),则结果视为显著。

相对提升幅度是什么?

B 的转化率相对于 A 的转化率高出或低出的百分比。转化率从 2% 提升到 2.5%,提升幅度为 25%。

一旦结果显著,我可以立即停止测试吗?

反复检查并在首次出现显著结果时停止,会增加假阳性。请预先确定样本量,例如使用 A/B 测试样本量计算器,然后评估一次。

差值区间显示什么?

在所选置信水平下,B 的转化率减去 A 的转化率后,合理可能取值的范围,单位为百分点。如果该范围包含零,则测试结果不显著。

样本数很少时也能用吗?

z 检验依赖正态近似,因此每组需要足够多的转化数;通常至少为 10。少于此数时,结果不可靠。

关于 OneClick Pro

OneClick Pro 是一个免费的工具集合,包含超过 150 种网络工具,助你处理日常工作:转换图像和单位、格式化和验证代码、检查域名和 SEO,以及处理文本、日期和数字。所有工具均可免注册、免订阅使用;你输入的内容仅用于计算结果,绝不会被存储。你可以将它用作处理临时任务的快捷工具箱,也可以收藏每天都会用到的工具。