Перейти к содержимому

Калькулятор статистической значимости A/B-теста

Проверьте, является ли разница между двумя коэффициентами конверсии статистически значимой. Введите число посетителей и конверсий для вариантов A и B, чтобы получить оба коэффициента, относительный прирост, доверительный интервал разницы, z-оценку и двустороннее p-значение.

Сбросить

Часто задаваемые вопросы

Какой тест используется?

Двусторонний z-тест для двух долей с объединённой стандартной ошибкой — стандартный тест для сравнения коэффициентов конверсии двух групп.

Что показывает p-значение?

Это вероятность получить разницу не меньше наблюдаемой, если оба варианта на самом деле давали одинаковую конверсию. Если она ниже единицы минус уровень доверия, например ниже 0.05 при уровне 95%, результат считается значимым.

Что такое относительный прирост?

Насколько коэффициент конверсии B выше или ниже коэффициента A в процентах от коэффициента A. Например, переход с 2% на 2.5% даёт прирост 25%.

Можно ли остановить тест сразу после получения значимого результата?

Многократная проверка с остановкой при первом значимом результате увеличивает число ложноположительных выводов. Заранее определите размер выборки, например с помощью калькулятора размера выборки для A/B-теста, и проведите оценку один раз.

Что показывает интервал для разницы?

Диапазон правдоподобных значений разницы между коэффициентами конверсии B и A в процентных пунктах при выбранном уровне доверия. Если в него входит ноль, результат теста не является значимым.

Подходит ли калькулятор для очень малых чисел?

z-тест основан на нормальной аппроксимации и требует достаточного числа конверсий в каждой группе; ориентир — не менее 10. При меньшем числе результат ненадёжен.

О проекте OneClick Pro

OneClick Pro — это бесплатная коллекция из более чем 150 веб-инструментов для повседневных задач: преобразования изображений и единиц измерения, форматирования и проверки кода, проверки доменов и SEO, а также работы с текстом, датами и числами. Все инструменты доступны без регистрации и подписки, а введенные вами данные используются только для расчета результата и никогда не сохраняются. Используйте коллекцию как быстрый набор инструментов для разовых задач или добавьте в закладки те, которыми пользуетесь каждый день.