Rekenmachine voor de significantie van A/B-tests
Controleer of het verschil tussen twee conversiepercentages statistisch significant is. Voer het aantal bezoekers en conversies voor varianten A en B in en bekijk beide percentages, de relatieve stijging, een betrouwbaarheidsinterval voor het verschil, de z-score en de tweezijdige p-waarde.
Veelgestelde vragen
Welke toets wordt gebruikt?
Een tweezijdige z-toets voor twee proporties met een gepoolde standaardfout, de standaardtoets om conversiepercentages van twee groepen te vergelijken.
Wat zegt de p-waarde mij?
De kans op een verschil dat minstens zo groot is als beide varianten in werkelijkheid even goed converteerden. Is deze waarde lager dan 1 min het betrouwbaarheidsniveau, bijvoorbeeld lager dan 0.05 bij 95%, dan geldt het resultaat als significant.
Wat is de relatieve stijging?
Hoeveel hoger of lager het conversiepercentage van B is dan dat van A, uitgedrukt als percentage van het percentage van A. Bij 2% tegenover 2.5% is de stijging 25%.
Kan ik de test stoppen zodra het resultaat significant is?
Herhaaldelijk controleren en stoppen zodra het resultaat significant is, vergroot het aantal fout-positieve resultaten. Bepaal vooraf de steekproefomvang, bijvoorbeeld met de rekenmachine voor de steekproefomvang van A/B-tests, en beoordeel het resultaat één keer.
Wat laat het interval voor het verschil zien?
Het bereik van aannemelijke waarden voor het percentage van B min dat van A, uitgedrukt in procentpunten en bij het gekozen betrouwbaarheidsniveau. Als het interval nul omvat, is de test niet significant.
Werkt dit met zeer kleine aantallen?
De z-toets is gebaseerd op een normale benadering en vereist voldoende conversies in elke groep; als vuistregel minstens 10. Met minder conversies is het resultaat onbetrouwbaar.