Zum Inhalt springen

Rechner für die Signifikanz eines A/B-Tests

Prüfe, ob der Unterschied zwischen zwei Konversionsraten statistisch signifikant ist. Gib Besucherzahlen und Konversionen für die Varianten A und B ein und erhalte beide Raten, den relativen Zuwachs, ein Konfidenzintervall für den Unterschied, den z-Wert und den zweiseitigen p-Wert.

Zurücksetzen

Häufig gestellte Fragen

Welcher Test wird verwendet?

Ein zweiseitiger z-Test für zwei Anteile mit gepooltem Standardfehler, der Standardtest zum Vergleich der Konversionsraten zweier Gruppen.

Was sagt mir der p-Wert?

Die Wahrscheinlichkeit, einen mindestens so großen Unterschied zu beobachten, wenn beide Varianten tatsächlich gleich gut konvertieren. Liegt er unter 1 minus dem Konfidenzniveau, zum Beispiel unter 0.05 bei 95%, gilt das Ergebnis als signifikant.

Was ist der relative Zuwachs?

Wie viel höher oder niedriger die Konversionsrate von B im Vergleich zu A ist, angegeben als Prozentsatz der Rate von A. 2% gegenüber 2.5% entspricht einem Zuwachs von 25%.

Kann ich den Test beenden, sobald das Ergebnis signifikant ist?

Wiederholte Prüfungen und ein Abbruch beim ersten signifikanten Ergebnis erhöhen die Zahl falsch positiver Ergebnisse. Lege die Stichprobengröße im Voraus fest, zum Beispiel mit dem Rechner für die Stichprobengröße eines A/B-Tests, und werte den Test einmal aus.

Was zeigt das Intervall für den Unterschied?

Den Bereich plausibler Werte für die Rate von B minus die Rate von A in Prozentpunkten beim gewählten Konfidenzniveau. Enthält er null, ist der Test nicht signifikant.

Funktioniert der Rechner auch mit sehr kleinen Zahlen?

Der z-Test beruht auf einer Normalapproximation und benötigt genügend Konversionen in jeder Gruppe, als Faustregel mindestens 10. Bei weniger Konversionen ist das Ergebnis unzuverlässig.

Über OneClick Pro

OneClick Pro ist eine kostenlose Sammlung mit mehr als 150 Webtools für die tägliche Arbeit: Bilder und Einheiten umwandeln, Code formatieren und validieren, Domains und SEO überprüfen sowie mit Texten, Terminen und Zahlen arbeiten. Jedes Tool funktioniert ohne Registrierung oder Abo. Deine Eingaben werden nur zur Berechnung des Ergebnisses verwendet und niemals gespeichert. Nutze die Sammlung als praktischen Werkzeugkasten für einzelne Aufgaben oder setze ein Lesezeichen für die Tools, die du täglich brauchst.