Перейти к содержимому

Калькулятор размера выборки для A/B-теста

Узнайте, сколько посетителей нужно для каждого варианта A/B-теста до его начала. Введите исходный коэффициент конверсии, минимальное относительное улучшение, которое вы хотите обнаружить, уровень значимости и статистическую мощность.

Сбросить

Часто задаваемые вопросы

Как рассчитывается размер выборки?

Используется стандартная формула сравнения двух долей в двустороннем тесте с учётом исходного коэффициента, коэффициента после улучшения, критического значения уровня значимости и значения статистической мощности.

Что такое минимально обнаруживаемый эффект?

Это минимальное относительное изменение, которое тест должен надёжно обнаружить. При исходном коэффициенте 3% и эффекте 10% нужно обнаружить изменение до 3.3%.

Что означает статистическая мощность?

Это вероятность обнаружить эффект, если он действительно существует. Часто выбирают 80%; более высокая мощность требует больше посетителей.

Почему для обнаружения небольших эффектов нужно так много посетителей?

Необходимый размер выборки растёт примерно обратно пропорционально квадрату эффекта. Чтобы обнаружить эффект вдвое меньше, нужно примерно в четыре раза больше посетителей.

Как долго будет идти тест?

Разделите общий размер выборки на число посетителей в день. Проводите тест полными неделями, чтобы в выборке были представлены и будни, и выходные.

Какой уровень значимости выбрать?

Обычно по умолчанию выбирают 95%. Выберите 99%, если ложноположительный результат обойдётся дорого; это увеличит размер выборки.

О проекте OneClick Pro

OneClick Pro — это бесплатная коллекция из более чем 150 веб-инструментов для повседневных задач: преобразования изображений и единиц измерения, форматирования и проверки кода, проверки доменов и SEO, а также работы с текстом, датами и числами. Все инструменты доступны без регистрации и подписки, а введенные вами данные используются только для расчета результата и никогда не сохраняются. Используйте коллекцию как быстрый набор инструментов для разовых задач или добавьте в закладки те, которыми пользуетесь каждый день.