Kalkulačka statistické významnosti A/B testu
Ověřte, zda je rozdíl mezi dvěma konverzními poměry statisticky významný. Zadejte počet návštěvníků a konverzí variant A a B a získejte oba poměry, relativní nárůst, interval spolehlivosti rozdílu, z-skóre a oboustrannou p-hodnotu.
Často kladené otázky
Jaký test se používá?
Oboustranný z-test pro dva podíly s použitím sdružené směrodatné chyby, což je standardní test pro porovnání konverzních poměrů dvou skupin.
Co mi říká p-hodnota?
Pravděpodobnost, že bychom pozorovali alespoň tak velký rozdíl, pokud by obě varianty ve skutečnosti konvertovaly stejně dobře. Pokud je nižší než 1 minus úroveň spolehlivosti, například nižší než 0.05 při 95%, výsledek se považuje za statisticky významný.
Co je relativní nárůst?
O kolik procent je konverzní poměr varianty B vyšší nebo nižší než u varianty A. Poměr 2% oproti 2.5% znamená nárůst o 25%.
Mohu test ukončit, jakmile je výsledek významný?
Opakované kontroly a ukončení testu při prvním významném výsledku zvyšují počet falešně pozitivních výsledků. Velikost výběru určete předem, například pomocí kalkulačky velikosti výběru pro A/B test, a výsledek vyhodnoťte jednou.
Co ukazuje interval rozdílu?
Rozmezí věrohodných hodnot rozdílu konverzních poměrů B minus A v procentních bodech při zvolené úrovni spolehlivosti. Pokud zahrnuje nulu, test není statisticky významný.
Funguje to i s velmi malými počty?
Z-test vychází z normální aproximace a vyžaduje dostatek konverzí v každé skupině; orientačně alespoň 10. Při menším počtu jsou výsledky nespolehlivé.