Калькулятор размера выборки для A/B-теста
Узнайте, сколько посетителей нужно для каждого варианта A/B-теста до его начала. Введите исходный коэффициент конверсии, минимальное относительное улучшение, которое вы хотите обнаружить, уровень значимости и статистическую мощность.
Часто задаваемые вопросы
Как рассчитывается размер выборки?
Используется стандартная формула сравнения двух долей в двустороннем тесте с учётом исходного коэффициента, коэффициента после улучшения, критического значения уровня значимости и значения статистической мощности.
Что такое минимально обнаруживаемый эффект?
Это минимальное относительное изменение, которое тест должен надёжно обнаружить. При исходном коэффициенте 3% и эффекте 10% нужно обнаружить изменение до 3.3%.
Что означает статистическая мощность?
Это вероятность обнаружить эффект, если он действительно существует. Часто выбирают 80%; более высокая мощность требует больше посетителей.
Почему для обнаружения небольших эффектов нужно так много посетителей?
Необходимый размер выборки растёт примерно обратно пропорционально квадрату эффекта. Чтобы обнаружить эффект вдвое меньше, нужно примерно в четыре раза больше посетителей.
Как долго будет идти тест?
Разделите общий размер выборки на число посетителей в день. Проводите тест полными неделями, чтобы в выборке были представлены и будни, и выходные.
Какой уровень значимости выбрать?
Обычно по умолчанию выбирают 95%. Выберите 99%, если ложноположительный результат обойдётся дорого; это увеличит размер выборки.