Kalkylator för statistisk signifikans i A/B-test
Kontrollera om skillnaden mellan två konverteringsfrekvenser är statistiskt signifikant. Ange antal besökare och konverteringar för variant A och B för att få båda frekvenserna, den relativa ökningen, ett konfidensintervall för skillnaden, z-värdet och det tvåsidiga p-värdet.
Vanliga frågor
Vilket test används?
Ett tvåsidigt z-test för två proportioner med poolat standardfel, standardtestet för att jämföra konverteringsfrekvenser i två grupper.
Vad säger p-värdet?
Sannolikheten att få en skillnad som är minst så här stor om båda varianterna i själva verket konverterade lika bra. Om värdet är lägre än 1 minus konfidensnivån, till exempel lägre än 0.05 vid 95%, räknas resultatet som signifikant.
Vad är den relativa ökningen?
Hur mycket högre eller lägre B:s konverteringsfrekvens är än A:s, som en procentandel av A:s frekvens. 2% jämfört med 2.5% innebär en ökning på 25%.
Kan jag avsluta testet så snart det är signifikant?
Om du kontrollerar upprepade gånger och avslutar vid det första signifikanta resultatet ökar antalet falska positiva. Bestäm urvalsstorleken i förväg, till exempel med kalkylatorn för urvalsstorlek i A/B-test, och utvärdera en gång.
Vad visar intervallet för skillnaden?
Intervallet med rimliga värden för B:s frekvens minus A:s frekvens, uttryckt i procentenheter, vid den valda konfidensnivån. Om intervallet innehåller noll är testet inte signifikant.
Fungerar den med mycket små tal?
z-testet bygger på en normalapproximation och kräver tillräckligt många konverteringar i varje grupp, som tumregel minst 10. Med färre blir resultatet osäkert.