Lommeregner til statistisk signifikans i A/B-test
Undersøg, om forskellen mellem to konverteringsrater er statistisk signifikant. Indtast besøgende og konverteringer for variant A og B, og få begge rater, den relative stigning, et konfidensinterval for forskellen, z-scoren og den tosidede p-værdi.
Ofte stillede spørgsmål
Hvilken test bruges?
En tosidet z-test for to andele med en samlet standardfejl, som er standardtesten til sammenligning af konverteringsrater for to grupper.
Hvad fortæller p-værdien mig?
Sandsynligheden for at se en mindst lige så stor forskel, hvis begge varianter faktisk havde samme konverteringsrate. Hvis den er lavere end 1 minus konfidensniveauet, f.eks. under 0.05 ved 95%, regnes resultatet for signifikant.
Hvad er den relative stigning?
Hvor meget højere eller lavere B's konverteringsrate er end A's, angivet som en procentdel af A's rate. 2% over for 2.5% er en stigning på 25%.
Kan jeg stoppe testen, så snart resultatet er signifikant?
Gentagne kontroller og stop ved det første signifikante resultat øger antallet af falske positiver. Fastlæg stikprøvestørrelsen på forhånd, f.eks. med A/B Test Sample Size Calculator, og evaluér én gang.
Hvad viser intervallet for forskellen?
Intervallet af plausible værdier for B's rate minus A's rate i procentpoint ved det valgte konfidensniveau. Hvis det indeholder nul, er testen ikke signifikant.
Fungerer den med meget små tal?
z-testen bygger på en normaltilnærmelse og kræver tilstrækkeligt mange konverteringer i hver gruppe, som tommelfingerregel mindst 10. Ved færre er resultatet upålideligt.