A/B testo statistinio reikšmingumo skaičiuotuvas
Patikrinkite, ar dviejų konversijų rodiklių skirtumas yra statistiškai reikšmingas. Įveskite A ir B variantų lankytojų ir konversijų skaičių, kad gautumėte abu rodiklius, santykinį prieaugį, skirtumo pasikliautinąjį intervalą, z balą ir dvipusę p reikšmę.
Dažnai užduodami klausimai
Koks testas naudojamas?
Dvipusis dviejų proporcijų z testas su jungtine standartine paklaida – standartinis testas dviejų grupių konversijų rodikliams palyginti.
Ką man parodo p reikšmė?
Tai tikimybė stebėti bent tokio dydžio skirtumą, jei abiejų variantų konversijų rodikliai iš tiesų būtų vienodi. Jei ši reikšmė mažesnė už 1 minus pasikliovimo lygį, pavyzdžiui, mažesnė už 0.05, kai lygis yra 95%, rezultatas laikomas reikšmingu.
Kas yra santykinis prieaugis?
Kiek procentų B konversijų rodiklis yra didesnis arba mažesnis už A rodiklį. Jei rodikliai yra 2% ir 2.5%, prieaugis siekia 25%.
Ar galiu sustabdyti testą vos jam tapus reikšmingam?
Pakartotinis tikrinimas ir sustabdymas vos gavus pirmą reikšmingą rezultatą padidina klaidingai teigiamų rezultatų tikimybę. Iš anksto nustatykite imties dydį, pavyzdžiui, naudodami A/B testo imties dydžio skaičiuotuvą, ir įvertinkite rezultatą vieną kartą.
Ką rodo skirtumo intervalas?
Tikėtinų B ir A rodiklių skirtumo reikšmių intervalas, išreikštas procentiniais punktais, esant pasirinktam pasikliovimo lygiui. Jei į jį patenka nulis, testas nėra reikšmingas.
Ar jis tinka labai mažiems skaičiams?
Z testas pagrįstas normaliojo skirstinio aproksimavimu ir kiekvienoje grupėje reikia pakankamai konversijų; orientacinė riba yra bent 10. Jei jų mažiau, rezultatas nepatikimas.