Kalkulačka veľkosti vzorky pre A/B test
Zistite, koľko návštevníkov potrebuje každý variant A/B testu pred jeho spustením. Zadajte základnú mieru konverzie, najmenšie relatívne zlepšenie, ktoré chcete zachytiť, úroveň významnosti a štatistickú silu.
Často kladené otázky
Ako sa počíta veľkosť vzorky?
Pomocou štandardného vzorca na porovnávanie dvoch podielov v obojstrannom teste s využitím základnej miery, miery po zlepšení, kritickej hodnoty hladiny významnosti a hodnoty štatistickej sily.
Čo je minimálny zistiteľný efekt?
Najmenšia relatívna zmena, ktorú chcete, aby test spoľahlivo zachytil. Pri základnej miere 3 % a efekte 10 % ide o zachytenie zmeny na 3.3 %.
Čo znamená štatistická sila?
Pravdepodobnosť, že test zachytí efekt, ak skutočne existuje. Bežná voľba je 80 %; vyššia sila si vyžaduje viac návštevníkov.
Prečo malé efekty vyžadujú toľko návštevníkov?
Požadovaná veľkosť vzorky rastie približne s prevrátenou hodnotou druhej mocniny efektu. Ak chcete zachytiť polovičný efekt, potrebujete približne štvornásobok návštevníkov.
Ako dlho bude test prebiehať?
Vydeľte celkovú veľkosť vzorky počtom návštevníkov za deň. Test spúšťajte celé týždne, aby zahŕňal pracovné dni aj víkendy.
Akú úroveň významnosti si mám zvoliť?
Bežnou predvolenou hodnotou je 95 %. Ak by falošne pozitívny výsledok bol nákladný, použite 99 %, čím sa zväčší potrebná vzorka.