A/B teszt statisztikai szignifikancia-számológép
Ellenőrizze, hogy statisztikailag szignifikáns-e a két konverziós arány közötti különbség. Adja meg az A és B változat látogatóinak és konverzióinak számát, majd megkapja mindkét arányt, a relatív növekedést, a különbség konfidenciaintervallumát, a z-pontszámot és a kétoldali p-értéket.
Gyakran ismételt kérdések
Milyen próbát használ?
Kétoldali, két arányt összehasonlító z-próbát összevont standard hibával; ez a két csoport konverziós arányának összehasonlítására szolgáló standard próba.
Mit mond el a p-érték?
Annak valószínűségét mutatja, hogy legalább ekkora különbséget látunk, ha a két változat ténylegesen egyforma arányban konvertál. Ha a konfidenciaszintből kivont 1-nél kisebb, például 95%-os konfidenciaszintnél 0,05-nél kisebb, az eredmény szignifikánsnak számít.
Mi a relatív növekedés?
Azt mutatja meg, hogy B konverziós aránya hány százalékkal magasabb vagy alacsonyabb A arányánál. A 2%-os és 2,5%-os arány 25%-os növekedést jelent.
Leállíthatom a tesztet, amint szignifikáns eredményt kapok?
Az ismételt ellenőrzés és az első szignifikáns eredménynél történő leállás növeli a téves pozitív eredmények számát. Előre határozza meg a mintanagyságot, például az A/B teszt mintanagyság-számológépével, és egyszer értékelje ki az eredményt.
Mit mutat a különbség intervalluma?
B és A arányának százalékpontokban kifejezett különbségére vonatkozó lehetséges értékek tartományát mutatja a választott konfidenciaszint mellett. Ha nulla is szerepel benne, a teszt nem szignifikáns.
Kis számokkal is működik?
A z-próba normálközelítést használ, ezért mindkét csoportban elegendő számú konverzió szükséges; ökölszabályként legalább 10. Ennél kevesebb esetén az eredmény megbízhatatlan.