A/B-testin merkitsevyyslaskin
Tarkista, onko kahden konversioprosentin ero tilastollisesti merkitsevä. Syötä versioiden A ja B kävijä- ja konversiomäärät, niin saat molemmat prosentit, suhteellisen parannuksen, eron luottamusvälin, z-arvon ja kaksisuuntaisen p-arvon.
Usein kysytyt kysymykset
Mitä testiä käytetään?
Kaksisuuntainen kahden osuuden z-testi yhdistetyllä keskivirheellä. Se on vakiotesti kahden ryhmän konversioprosenttien vertailuun.
Mitä p-arvo kertoo?
Todennäköisyys havaita vähintään näin suuri ero, jos molempien versioiden konversioprosentti olisi todellisuudessa sama. Jos arvo on alle 1 miinus luottamustaso, esimerkiksi alle 0.05 tasolla 95%, tulosta pidetään merkitsevänä.
Mikä on suhteellinen parannus?
Kuinka paljon B:n konversioprosentti on korkeampi tai matalampi kuin A:n, prosentteina A:n tasosta. Esimerkiksi 2% verrattuna 2.5%:iin tarkoittaa 25%:n parannusta.
Voinko lopettaa testin heti, kun tulos on merkitsevä?
Toistuva tarkistaminen ja testin lopettaminen heti ensimmäisen merkitsevän tuloksen kohdalla lisäävät väärien positiivisten tulosten määrää. Päätä otoskoko etukäteen esimerkiksi A/B-testin otoskokolaskimella ja arvioi tulos kerran.
Mitä eron luottamusväli kertoo?
Valitulla luottamustasolla uskottavien arvojen vaihteluväli prosenttiyksikköinä laskettuna B:n konversioprosentista vähennettynä A:n konversioprosentilla. Jos väli sisältää nollan, testin tulos ei ole merkitsevä.
Toimiiko se hyvin pienillä luvuilla?
z-testi perustuu normaalijakauma-approksimaatioon ja vaatii riittävästi konversioita kummassakin ryhmässä. Nyrkkisääntönä niitä pitäisi olla vähintään 10. Tätä pienemmillä määrillä tulos ei ole luotettava.