Gå til indhold

Lommeregner til statistisk signifikans i A/B-test

Undersøg, om forskellen mellem to konverteringsrater er statistisk signifikant. Indtast besøgende og konverteringer for variant A og B, og få begge rater, den relative stigning, et konfidensinterval for forskellen, z-scoren og den tosidede p-værdi.

Nulstil

Ofte stillede spørgsmål

Hvilken test bruges?

En tosidet z-test for to andele med en samlet standardfejl, som er standardtesten til sammenligning af konverteringsrater for to grupper.

Hvad fortæller p-værdien mig?

Sandsynligheden for at se en mindst lige så stor forskel, hvis begge varianter faktisk havde samme konverteringsrate. Hvis den er lavere end 1 minus konfidensniveauet, f.eks. under 0.05 ved 95%, regnes resultatet for signifikant.

Hvad er den relative stigning?

Hvor meget højere eller lavere B's konverteringsrate er end A's, angivet som en procentdel af A's rate. 2% over for 2.5% er en stigning på 25%.

Kan jeg stoppe testen, så snart resultatet er signifikant?

Gentagne kontroller og stop ved det første signifikante resultat øger antallet af falske positiver. Fastlæg stikprøvestørrelsen på forhånd, f.eks. med A/B Test Sample Size Calculator, og evaluér én gang.

Hvad viser intervallet for forskellen?

Intervallet af plausible værdier for B's rate minus A's rate i procentpoint ved det valgte konfidensniveau. Hvis det indeholder nul, er testen ikke signifikant.

Fungerer den med meget små tal?

z-testen bygger på en normaltilnærmelse og kræver tilstrækkeligt mange konverteringer i hver gruppe, som tommelfingerregel mindst 10. Ved færre er resultatet upålideligt.

Om OneClick Pro

OneClick Pro er en gratis samling med mere end 150 webværktøjer til daglige opgaver: konvertering af billeder og enheder, formatering og validering af kode, opslag af domæner og SEO samt arbejde med tekst, datoer og tal. Alle værktøjer fungerer uden registrering eller abonnement, og det, du indtaster, bruges kun til at beregne resultatet og gemmes aldrig. Brug samlingen som en hurtig værktøjskasse til enkeltstående opgaver, eller bogmærk de værktøjer, du bruger hver dag.