Kalkulator statistične značilnosti A/B-testa
Preverite, ali je razlika med dvema stopnjama konverzije statistično značilna. Vnesite število obiskovalcev in konverzij za različici A in B ter pridobite obe stopnji, relativno izboljšanje, interval zaupanja za razliko, z-vrednost in dvostransko p-vrednost.
Pogosta vprašanja
Kateri test se uporablja?
Dvostranski z-test za dva deleža z združeno standardno napako, standardni test za primerjavo stopenj konverzije dveh skupin.
Kaj mi pove p-vrednost?
To je verjetnost, da bi opazili vsaj tako veliko razliko, če bi različici dejansko dosegali enako stopnjo konverzije. Če je nižja od 1 minus stopnja zaupanja, na primer pod 0.05 pri 95%, se rezultat šteje za statistično značilen.
Kaj je relativno izboljšanje?
Za koliko je stopnja konverzije različice B višja ali nižja od stopnje različice A, izraženo kot odstotek stopnje A. Pri 2% proti 2.5% je izboljšanje 25%.
Ali lahko test ustavim takoj, ko je rezultat statistično značilen?
Ponavljajoče preverjanje in ustavitev ob prvem statistično značilnem rezultatu povečata število lažno pozitivnih rezultatov. Velikost vzorca določite vnaprej, na primer s kalkulatorjem velikosti vzorca za A/B-test, in rezultat ocenite enkrat.
Kaj prikazuje interval za razliko?
Razpon verjetnih vrednosti za stopnjo različice B minus stopnjo različice A v odstotnih točkah pri izbrani stopnji zaupanja. Če vključuje nič, rezultat testa ni statistično značilen.
Ali deluje pri zelo majhnih številih?
z-test temelji na približku z normalno porazdelitvijo in potrebuje dovolj konverzij v vsaki skupini; priporočljivo je vsaj 10. Pri manjšem številu je rezultat nezanesljiv.