Перейти до вмісту

Калькулятор статистичної значущості A/B-тесту

Перевірте, чи є статистично значущою різниця між двома коефіцієнтами конверсії. Введіть кількість відвідувачів і конверсій для варіантів A та B, щоб отримати обидва коефіцієнти, відносне зростання, довірчий інтервал різниці, z-оцінку та двостороннє p-значення.

Скинути

Поширені запитання

Який тест використовується?

Двосторонній z-тест для двох часток із об’єднаною стандартною похибкою — стандартний тест для порівняння коефіцієнтів конверсії двох груп.

Що показує p-значення?

Імовірність отримати різницю щонайменше такого розміру, якщо обидва варіанти насправді мають однаково успішну конверсію. Якщо вона менша за одиницю мінус рівень довіри, наприклад менша за 0.05 за рівня довіри 95%, результат вважається значущим.

Що таке відносне зростання?

Наскільки коефіцієнт конверсії B вищий або нижчий за коефіцієнт A у відсотках від значення A. Зростання з 2% до 2.5% становить 25%.

Чи можна зупинити тест, щойно результат стане значущим?

Якщо постійно перевіряти результат і зупинити тест за першої значущості, кількість хибнопозитивних результатів зросте. Заздалегідь визначте розмір вибірки, наприклад за допомогою Калькулятора розміру вибірки для A/B-тесту, і оцініть результат один раз.

Що показує інтервал різниці?

Діапазон правдоподібних значень різниці коефіцієнтів конверсії B мінус A у відсоткових пунктах за вибраного рівня довіри. Якщо він містить нуль, результат тесту не є значущим.

Чи працює він із дуже малими числами?

z-тест ґрунтується на нормальному наближенні й потребує достатньої кількості конверсій у кожній групі; орієнтовно — щонайменше 10. За меншої кількості результат ненадійний.

Про OneClick Pro

OneClick Pro — це безкоштовна колекція з понад 150 вебінструментів для повсякденної роботи: конвертації зображень і одиниць, форматування та перевірки коду, перевірки доменів і SEO, а також роботи з текстом, датами й числами. Кожен інструмент працює без реєстрації чи передплати, а введені вами дані використовуються лише для обчислення результату й ніколи не зберігаються. Використовуйте цю добірку як швидкий набір інструментів для разових завдань або додайте в закладки інструменти, якими користуєтеся щодня.