A/B-testin otoskokolaskin
Selvitä, kuinka monta kävijää A/B-testin kumpikin versio tarvitsee ennen testin aloittamista. Syötä lähtötason konversioprosentti, pienin havaittava suhteellinen parannus, merkitsevyystaso ja testin tilastollinen voima.
Usein kysytyt kysymykset
Miten otoskoko lasketaan?
Käytössä on vakiokaava kahden osuuden vertaamiseen kaksisuuntaisessa testissä. Siinä hyödynnetään lähtötason prosenttia, parannuksen jälkeistä prosenttia, merkitsevyystason kriittistä arvoa ja testin voimaa kuvaavaa arvoa.
Mikä on pienin havaittava vaikutus?
Pienin suhteellinen muutos, jonka haluat testin havaitsevan luotettavasti. Kun lähtötaso on 3% ja vaikutus 10%, tavoitteena on havaita muutos 3.3%:iin.
Mitä testin voima tarkoittaa?
Todennäköisyys, että testi havaitsee vaikutuksen, jos se todella on olemassa. 80% on yleinen valinta; suurempi voima vaatii enemmän kävijöitä.
Miksi pienet vaikutukset vaativat niin paljon kävijöitä?
Vaadittava otoskoko kasvaa suunnilleen kääntäen verrannollisena vaikutuksen neliöön. Jos puolitat havaittavan vaikutuksen suuruuden, tarvitset noin nelinkertaisen määrän kävijöitä.
Kuinka kauan testini kestää?
Jaa otoksen kokonaiskoko päivittäisellä kävijämäärällä. Anna testin kestää kokonaisia viikkoja, jotta sekä arki- että viikonloppupäivät tulevat edustetuiksi.
Minkä merkitsevyystason valitsen?
95% on tavallinen oletusarvo. Käytä 99%:n tasoa, jos väärä positiivinen tulos olisi kallis; tämä kasvattaa otoskokoa.