Rekenmachine voor de steekproefomvang van A/B-tests
Bereken hoeveel bezoekers elke variant van een A/B-test nodig heeft voordat u eraan begint. Voer het basisconversiepercentage, de kleinste relatieve verbetering die u wilt detecteren, het significantieniveau en de statistische power in.
Veelgestelde vragen
Hoe wordt de steekproefomvang berekend?
Met de standaardformule om twee proporties in een tweezijdige toets te vergelijken, op basis van het basispercentage, het percentage na de verbetering, de kritieke waarde van het significantieniveau en de waarde voor de power.
Wat is het minimaal detecteerbare effect?
De kleinste relatieve verandering die de test betrouwbaar moet kunnen detecteren. Bij een basispercentage van 3% en een effect van 10% betekent dit een verandering naar 3.3% detecteren.
Wat betekent power?
De kans dat de test het effect detecteert als het echt bestaat. 80% is een gebruikelijke keuze; voor een hogere power zijn meer bezoekers nodig.
Waarom zijn er voor kleine effecten zoveel bezoekers nodig?
De benodigde steekproefomvang groeit ongeveer met het omgekeerde kwadraat van het effect. Als het te detecteren effect half zo groot is, zijn ongeveer vier keer zoveel bezoekers nodig.
Hoelang duurt mijn test?
Deel de totale steekproefomvang door het aantal bezoekers per dag. Laat de test hele weken lopen, zodat zowel weekdagen als weekenden vertegenwoordigd zijn.
Welk significantieniveau moet ik kiezen?
95% is de gebruikelijke standaardinstelling. Gebruik 99% als een fout-positief resultaat kostbaar zou zijn; de benodigde steekproefomvang wordt dan groter.