Kalkulator wielkości próby testu A/B
Sprawdź, ilu odwiedzających potrzebuje każdy wariant testu A/B, zanim go rozpoczniesz. Wprowadź bazowy współczynnik konwersji, najmniejszy względny wzrost, jaki chcesz wykryć, poziom istotności oraz moc statystyczną.
Najczęściej zadawane pytania
Jak obliczana jest wielkość próby?
Za pomocą standardowego wzoru do porównywania dwóch proporcji w teście dwustronnym, z uwzględnieniem bazowego współczynnika, współczynnika po poprawie oraz wartości krytycznej poziomu istotności i mocy.
Czym jest minimalny wykrywalny efekt?
To najmniejsza względna zmiana, którą test ma niezawodnie wykrywać. Przy bazowym współczynniku 3% i efekcie 10% wykrywana zmiana wynosi 3.3%.
Co oznacza moc?
To prawdopodobieństwo wykrycia efektu przez test, jeśli rzeczywiście występuje. Często wybiera się 80%; większa moc wymaga większej liczby odwiedzających.
Dlaczego małe efekty wymagają tak wielu odwiedzających?
Wymagana wielkość próby rośnie w przybliżeniu odwrotnie proporcjonalnie do kwadratu efektu. Wykrycie efektu o połowę mniejszego wymaga około cztery razy większej liczby odwiedzających.
Jak długo potrwa test?
Podziel łączną wielkość próby przez liczbę odwiedzających dziennie. Prowadź test przez pełne tygodnie, aby uwzględnić zarówno dni robocze, jak i weekendy.
Jaki poziom istotności wybrać?
Zwykle domyślnie wybiera się 95%. Użyj 99%, gdy fałszywy alarm byłby kosztowny; zwiększy to wymaganą wielkość próby.