Kalkylator för urvalsstorlek i A/B-test
Ta reda på hur många besökare varje variant i ett A/B-test behöver innan du startar testet. Ange baslinjens konverteringsfrekvens, den minsta relativa förbättring du vill upptäcka, signifikansnivån och den statistiska styrkan.
Vanliga frågor
Hur beräknas urvalsstorleken?
Med standardformeln för att jämföra två proportioner i ett tvåsidigt test, utifrån baslinjens frekvens, frekvensen efter förbättringen, det kritiska värdet för signifikansnivån och värdet för den statistiska styrkan.
Vad är den minsta detekterbara effekten?
Den minsta relativa förändring som du vill att testet tillförlitligt ska kunna upptäcka. En baslinje på 3% och en effekt på 10% innebär att upptäcka en förändring till 3.3%.
Vad betyder statistisk styrka?
Sannolikheten att testet upptäcker effekten om den verkligen finns. 80% är ett vanligt val; högre styrka kräver fler besökare.
Varför kräver små effekter så många besökare?
Den nödvändiga urvalsstorleken ökar ungefär med effekten i kvadratens invers. Om effekten du vill upptäcka halveras behövs ungefär fyra gånger så många besökare.
Hur länge pågår mitt test?
Dela den totala urvalsstorleken med antalet besökare du får per dag. Kör hela veckor så att både vardagar och helger ingår.
Vilken signifikansnivå ska jag välja?
95% är det vanliga standardvärdet. Använd 99% när ett falskt positivt resultat skulle bli kostsamt; det ökar urvalsstorleken.