Siirry sisältöön

A/B-testin merkitsevyyslaskin

Tarkista, onko kahden konversioprosentin ero tilastollisesti merkitsevä. Syötä versioiden A ja B kävijä- ja konversiomäärät, niin saat molemmat prosentit, suhteellisen parannuksen, eron luottamusvälin, z-arvon ja kaksisuuntaisen p-arvon.

Nollaa

Usein kysytyt kysymykset

Mitä testiä käytetään?

Kaksisuuntainen kahden osuuden z-testi yhdistetyllä keskivirheellä. Se on vakiotesti kahden ryhmän konversioprosenttien vertailuun.

Mitä p-arvo kertoo?

Todennäköisyys havaita vähintään näin suuri ero, jos molempien versioiden konversioprosentti olisi todellisuudessa sama. Jos arvo on alle 1 miinus luottamustaso, esimerkiksi alle 0.05 tasolla 95%, tulosta pidetään merkitsevänä.

Mikä on suhteellinen parannus?

Kuinka paljon B:n konversioprosentti on korkeampi tai matalampi kuin A:n, prosentteina A:n tasosta. Esimerkiksi 2% verrattuna 2.5%:iin tarkoittaa 25%:n parannusta.

Voinko lopettaa testin heti, kun tulos on merkitsevä?

Toistuva tarkistaminen ja testin lopettaminen heti ensimmäisen merkitsevän tuloksen kohdalla lisäävät väärien positiivisten tulosten määrää. Päätä otoskoko etukäteen esimerkiksi A/B-testin otoskokolaskimella ja arvioi tulos kerran.

Mitä eron luottamusväli kertoo?

Valitulla luottamustasolla uskottavien arvojen vaihteluväli prosenttiyksikköinä laskettuna B:n konversioprosentista vähennettynä A:n konversioprosentilla. Jos väli sisältää nollan, testin tulos ei ole merkitsevä.

Toimiiko se hyvin pienillä luvuilla?

z-testi perustuu normaalijakauma-approksimaatioon ja vaatii riittävästi konversioita kummassakin ryhmässä. Nyrkkisääntönä niitä pitäisi olla vähintään 10. Tätä pienemmillä määrillä tulos ei ole luotettava.

Tietoja: OneClick Pro

OneClick Pro on ilmainen kokoelma, jossa on yli 150 verkkotyökalua arjen tehtäviin: kuvien ja yksiköiden muuntamiseen, koodin muotoiluun ja validointiin, verkkotunnusten ja SEO tarkistamiseen sekä tekstien, päivämäärien ja lukujen käsittelyyn. Kaikki työkalut toimivat ilman rekisteröitymistä tai tilausta. Syöttämiäsi tietoja käytetään vain tuloksen laskemiseen, eikä niitä tallenneta koskaan. Käytä palvelua nopeana apuvälineenä yksittäisiin tehtäviin tai lisää kirjanmerkkeihin työkalut, joita tarvitset päivittäin.