A/B teszt mintanagyság-számológép
Tudja meg, hány látogatóra van szükség az A/B teszt egyes változataihoz, mielőtt elindítaná a tesztet. Adja meg az alap konverziós arányt, a legkisebb kimutatni kívánt relatív javulást, a szignifikanciaszintet és a statisztikai erőt.
Gyakran ismételt kérdések
Hogyan számítja ki a mintanagyságot?
A két arányt összehasonlító, kétoldali teszt standard képletével, amely az alaparányt, a javulás utáni arányt, a szignifikanciaszint kritikus értékét és a statisztikai erő értékét használja.
Mi a legkisebb kimutatható hatás?
A legkisebb relatív változás, amelyet a teszttel megbízhatóan ki szeretne mutatni. A 3%-os alapérték és a 10%-os hatás azt jelenti, hogy a 3,3%-ra történő változást szeretné kimutatni.
Mit jelent a statisztikai erő?
Annak valószínűsége, hogy a teszt kimutatja a hatást, ha az valóban létezik. Gyakori választás a 80%; a nagyobb statisztikai erőhöz több látogató szükséges.
Miért kell olyan sok látogató a kis hatások kimutatásához?
A szükséges mintanagyság nagyjából a hatás négyzetével fordított arányban nő. A kimutatni kívánt hatás megfelezése körülbelül négyszer annyi látogatót igényel.
Meddig fog futni a tesztem?
Ossza el a teljes mintanagyságot a naponta érkező látogatók számával. Teljes heteken át futtassa a tesztet, hogy a hétköznapok és a hétvégék egyaránt szerepeljenek.
Milyen szignifikanciaszintet válasszak?
A szokásos alapérték 95%. Válasszon 99%-ot, ha költséges lenne a téves pozitív eredmény; ez növeli a szükséges mintanagyságot.