Калькулятор статистичної значущості A/B-тесту
Перевірте, чи є статистично значущою різниця між двома коефіцієнтами конверсії. Введіть кількість відвідувачів і конверсій для варіантів A та B, щоб отримати обидва коефіцієнти, відносне зростання, довірчий інтервал різниці, z-оцінку та двостороннє p-значення.
Поширені запитання
Який тест використовується?
Двосторонній z-тест для двох часток із об’єднаною стандартною похибкою — стандартний тест для порівняння коефіцієнтів конверсії двох груп.
Що показує p-значення?
Імовірність отримати різницю щонайменше такого розміру, якщо обидва варіанти насправді мають однаково успішну конверсію. Якщо вона менша за одиницю мінус рівень довіри, наприклад менша за 0.05 за рівня довіри 95%, результат вважається значущим.
Що таке відносне зростання?
Наскільки коефіцієнт конверсії B вищий або нижчий за коефіцієнт A у відсотках від значення A. Зростання з 2% до 2.5% становить 25%.
Чи можна зупинити тест, щойно результат стане значущим?
Якщо постійно перевіряти результат і зупинити тест за першої значущості, кількість хибнопозитивних результатів зросте. Заздалегідь визначте розмір вибірки, наприклад за допомогою Калькулятора розміру вибірки для A/B-тесту, і оцініть результат один раз.
Що показує інтервал різниці?
Діапазон правдоподібних значень різниці коефіцієнтів конверсії B мінус A у відсоткових пунктах за вибраного рівня довіри. Якщо він містить нуль, результат тесту не є значущим.
Чи працює він із дуже малими числами?
z-тест ґрунтується на нормальному наближенні й потребує достатньої кількості конверсій у кожній групі; орієнтовно — щонайменше 10. За меншої кількості результат ненадійний.