Hoppa till innehåll

Kalkylator för statistisk signifikans i A/B-test

Kontrollera om skillnaden mellan två konverteringsfrekvenser är statistiskt signifikant. Ange antal besökare och konverteringar för variant A och B för att få båda frekvenserna, den relativa ökningen, ett konfidensintervall för skillnaden, z-värdet och det tvåsidiga p-värdet.

Återställ

Vanliga frågor

Vilket test används?

Ett tvåsidigt z-test för två proportioner med poolat standardfel, standardtestet för att jämföra konverteringsfrekvenser i två grupper.

Vad säger p-värdet?

Sannolikheten att få en skillnad som är minst så här stor om båda varianterna i själva verket konverterade lika bra. Om värdet är lägre än 1 minus konfidensnivån, till exempel lägre än 0.05 vid 95%, räknas resultatet som signifikant.

Vad är den relativa ökningen?

Hur mycket högre eller lägre B:s konverteringsfrekvens är än A:s, som en procentandel av A:s frekvens. 2% jämfört med 2.5% innebär en ökning på 25%.

Kan jag avsluta testet så snart det är signifikant?

Om du kontrollerar upprepade gånger och avslutar vid det första signifikanta resultatet ökar antalet falska positiva. Bestäm urvalsstorleken i förväg, till exempel med kalkylatorn för urvalsstorlek i A/B-test, och utvärdera en gång.

Vad visar intervallet för skillnaden?

Intervallet med rimliga värden för B:s frekvens minus A:s frekvens, uttryckt i procentenheter, vid den valda konfidensnivån. Om intervallet innehåller noll är testet inte signifikant.

Fungerar den med mycket små tal?

z-testet bygger på en normalapproximation och kräver tillräckligt många konverteringar i varje grupp, som tumregel minst 10. Med färre blir resultatet osäkert.

Om OneClick Pro

OneClick Pro är en kostnadsfri samling med mer än 150 webbverktyg för det dagliga arbetet: konvertera bilder och enheter, formatera och validera kod, kontrollera domäner och SEO samt arbeta med text, datum och tal. Alla verktyg fungerar utan registrering eller prenumeration, och det du anger används bara för att beräkna resultatet och sparas aldrig. Använd samlingen som en snabb verktygslåda för enstaka uppgifter eller bokmärk verktygen du använder varje dag.