Kalkulačka štatistickej významnosti A/B testu
Overte, či je rozdiel medzi dvoma mierami konverzie štatisticky významný. Zadajte počet návštevníkov a konverzií variantov A a B a získajte obe miery, relatívne zvýšenie, interval spoľahlivosti rozdielu, z-skóre a obojstrannú p-hodnotu.
Často kladené otázky
Aký test sa používa?
Obojstranný z-test pre dva podiely s kombinovanou štandardnou chybou, štandardný test na porovnávanie mier konverzie dvoch skupín.
Čo mi hovorí p-hodnota?
Pravdepodobnosť, že by sme pozorovali aspoň taký veľký rozdiel, ak by oba varianty v skutočnosti dosahovali rovnakú mieru konverzie. Ak je nižšia než 1 mínus úroveň spoľahlivosti, napríklad nižšia než 0.05 pri 95 %, výsledok sa považuje za štatisticky významný.
Čo je relatívne zvýšenie?
O koľko percent je miera konverzie variantu B vyššia alebo nižšia než miera variantu A. Pri hodnotách 2 % a 2.5 % je zvýšenie 25 %.
Môžem test ukončiť hneď, ako je výsledok významný?
Opakovaným kontrolovaním a ukončením pri prvom významnom výsledku sa zvyšuje počet falošne pozitívnych výsledkov. Vopred určte veľkosť vzorky, napríklad pomocou kalkulačky veľkosti vzorky pre A/B test, a vyhodnoťte výsledok raz.
Čo ukazuje interval rozdielu?
Rozsah vierohodných hodnôt miery variantu B mínus miery variantu A v percentuálnych bodoch pri zvolenej úrovni spoľahlivosti. Ak zahŕňa nulu, test nie je štatisticky významný.
Funguje aj pri veľmi malých počtoch?
Z-test sa spolieha na normálnu aproximáciu a vyžaduje dostatok konverzií v každej skupine; orientačne aspoň 10. Pri nižšom počte je výsledok nespoľahlivý.