Kalkulator istotności testu A/B
Sprawdź, czy różnica między dwoma współczynnikami konwersji jest istotna statystycznie. Wprowadź liczbę odwiedzających i konwersji dla wariantów A i B, aby uzyskać oba współczynniki, względny wzrost, przedział ufności dla różnicy, wynik z oraz dwustronną wartość p.
Najczęściej zadawane pytania
Jaki test jest używany?
Dwustronny test z dla dwóch proporcji z łączonym błędem standardowym — standardowy test do porównywania współczynników konwersji dwóch grup.
Co mówi mi wartość p?
To prawdopodobieństwo uzyskania różnicy co najmniej tak dużej, jeśli oba warianty w rzeczywistości konwertowałyby równie dobrze. Jeśli jest mniejsza niż 1 minus poziom ufności, np. poniżej 0.05 przy poziomie 95%, wynik uznaje się za istotny.
Czym jest względny wzrost?
O ile współczynnik konwersji wariantu B jest wyższy lub niższy od współczynnika wariantu A, wyrażone jako procent wartości A. Wzrost z 2% do 2.5% wynosi 25%.
Czy mogę zakończyć test, gdy tylko wynik stanie się istotny?
Wielokrotne sprawdzanie wyników i zakończenie testu przy pierwszym istotnym wyniku zwiększa liczbę fałszywych alarmów. Z góry ustal wielkość próby, np. za pomocą kalkulatora wielkości próby testu A/B, i oceń wynik raz.
Co pokazuje przedział dla różnicy?
Zakres prawdopodobnych wartości różnicy między współczynnikami B i A, wyrażonej w punktach procentowych, przy wybranym poziomie ufności. Jeśli obejmuje zero, wynik testu nie jest istotny.
Czy działa przy bardzo małych liczbach?
Test z opiera się na przybliżeniu normalnym i wymaga odpowiedniej liczby konwersji w każdej grupie — orientacyjnie co najmniej 10. Przy mniejszej liczbie wynik jest niewiarygodny.