Калькулятор розміру вибірки для A/B-тесту
Дізнайтеся, скільки відвідувачів потрібно для кожного варіанта A/B-тесту, перш ніж запускати його. Введіть базовий коефіцієнт конверсії, найменше відносне покращення, яке потрібно виявити, рівень значущості та статистичну потужність.
Поширені запитання
Як обчислюється розмір вибірки?
За стандартною формулою порівняння двох часток у двосторонньому тесті, яка враховує базову частку, частку після покращення, критичне значення рівня значущості та значення потужності.
Що таке мінімальний ефект, який можна виявити?
Найменша відносна зміна, яку тест має надійно виявити. Якщо базовий показник становить 3%, а ефект — 10%, це означає виявлення зміни до 3.3%.
Що означає потужність?
Імовірність того, що тест виявить ефект, якщо він справді існує. Зазвичай обирають 80%; вища потужність потребує більше відвідувачів.
Чому для виявлення малих ефектів потрібно так багато відвідувачів?
Необхідний розмір вибірки приблизно обернено пропорційний квадрату ефекту. Щоб виявити ефект удвічі меншого розміру, потрібно приблизно вчетверо більше відвідувачів.
Скільки триватиме мій тест?
Розділіть загальний розмір вибірки на кількість відвідувачів за день. Проводьте тест повними тижнями, щоб охопити і будні, і вихідні.
Який рівень значущості вибрати?
Зазвичай за замовчуванням обирають 95%. Використовуйте 99%, якщо хибнопозитивний результат може дорого коштувати; це збільшить розмір вибірки.