Калькулятор статистической значимости A/B-теста
Проверьте, является ли разница между двумя коэффициентами конверсии статистически значимой. Введите число посетителей и конверсий для вариантов A и B, чтобы получить оба коэффициента, относительный прирост, доверительный интервал разницы, z-оценку и двустороннее p-значение.
Часто задаваемые вопросы
Какой тест используется?
Двусторонний z-тест для двух долей с объединённой стандартной ошибкой — стандартный тест для сравнения коэффициентов конверсии двух групп.
Что показывает p-значение?
Это вероятность получить разницу не меньше наблюдаемой, если оба варианта на самом деле давали одинаковую конверсию. Если она ниже единицы минус уровень доверия, например ниже 0.05 при уровне 95%, результат считается значимым.
Что такое относительный прирост?
Насколько коэффициент конверсии B выше или ниже коэффициента A в процентах от коэффициента A. Например, переход с 2% на 2.5% даёт прирост 25%.
Можно ли остановить тест сразу после получения значимого результата?
Многократная проверка с остановкой при первом значимом результате увеличивает число ложноположительных выводов. Заранее определите размер выборки, например с помощью калькулятора размера выборки для A/B-теста, и проведите оценку один раз.
Что показывает интервал для разницы?
Диапазон правдоподобных значений разницы между коэффициентами конверсии B и A в процентных пунктах при выбранном уровне доверия. Если в него входит ноль, результат теста не является значимым.
Подходит ли калькулятор для очень малых чисел?
z-тест основан на нормальной аппроксимации и требует достаточного числа конверсий в каждой группе; ориентир — не менее 10. При меньшем числе результат ненадёжен.