A/B-testi olulisuse kalkulaator
Kontrolli, kas kahe konversioonimäära erinevus on statistiliselt oluline. Sisesta variantide A ja B külastajate ning konversioonide arv, et saada mõlema määra väärtus, suhteline kasv, erinevuse usaldusvahemik, z-skoor ja kahepoolse testi p-väärtus.
Korduma kippuvad küsimused
Millist testi kasutatakse?
Kahepoolne kahe osakaalu z-test ühendatud standardveaga; see on kahe rühma konversioonimäärade võrdlemiseks mõeldud standardtest.
Mida p-väärtus näitab?
Tõenäosust näha vähemalt sama suurt erinevust, kui mõlema variandi konversioonimäär oleks tegelikult võrdne. Kui p-väärtus on väiksem kui 1 miinus usaldustase, näiteks alla 0.05 usaldustaseme 95% korral, loetakse tulemus statistiliselt oluliseks.
Mis on suhteline kasv?
Kui palju kõrgem või madalam on B konversioonimäär võrreldes A määraga, väljendatuna protsendina A määrast. 2% võrreldes 2.5%-ga tähendab 25% kasvu.
Kas võin testi lõpetada kohe, kui tulemus on oluline?
Korduv kontrollimine ja testi lõpetamine esimese olulise tulemuse korral suurendab valepositiivsete arvu. Otsusta valimi suurus ette, näiteks A/B-testi valimi suuruse kalkulaatoriga, ja hinda tulemust üks kord.
Mida erinevuse vahemik näitab?
Võimalike väärtuste vahemikku B määra ja A määra erinevuse jaoks protsendipunktides valitud usaldustasemel. Kui vahemik sisaldab nulli, pole test statistiliselt oluline.
Kas see toimib väga väikeste arvude korral?
z-test tugineb normaaljaotuse lähendusele ja vajab kummaski rühmas piisavalt konversioone; rusikareegli järgi vähemalt 10. Väiksema arvu korral pole tulemus usaldusväärne.