Kalkulačka velikosti výběru pro A/B test
Zjistěte, kolik návštěvníků potřebuje každá varianta A/B testu, než jej spustíte. Zadejte výchozí konverzní poměr, nejmenší relativní zlepšení, které chcete odhalit, hladinu významnosti a statistickou sílu testu.
Často kladené otázky
Jak se počítá velikost výběru?
Pomocí standardního vzorce pro porovnání dvou podílů v oboustranném testu, který zohledňuje výchozí poměr, poměr po zlepšení, kritickou hodnotu hladiny významnosti a hodnotu statistické síly.
Co je minimální zjistitelný efekt?
Nejmenší relativní změna, kterou chcete, aby test spolehlivě odhalil. Výchozí hodnota 3% a efekt 10% znamenají odhalení změny na 3.3%.
Co znamená statistická síla?
Pravděpodobnost, že test odhalí efekt, pokud skutečně existuje. Běžně se volí 80%; vyšší statistická síla vyžaduje více návštěvníků.
Proč malé efekty vyžadují tolik návštěvníků?
Požadovaná velikost výběru roste přibližně s druhou mocninou převrácené hodnoty efektu. Pokud chcete odhalit poloviční efekt, potřebujete přibližně čtyřikrát více návštěvníků.
Jak dlouho bude test probíhat?
Vydělte celkovou velikost výběru počtem návštěvníků za den. Test nechte běžet celé týdny, aby zahrnoval všední dny i víkendy.
Jakou hladinu významnosti mám zvolit?
Obvyklou výchozí hodnotou je 95%. Pokud by falešně pozitivní výsledek byl nákladný, zvolte 99%, čímž se zvětší potřebný výběr.