Калкулатор за статистическа значимост на A/B тест
Проверете дали разликата между два процента на реализация е статистически значима. Въведете посетителите и реализациите за варианти A и B и получете двата процента, относителното увеличение, доверителен интервал за разликата, z-оценката и двустранната p-стойност.
Често задавани въпроси
Какъв тест се използва?
Двустранен z-тест за два дяла с обединена стандартна грешка — стандартният тест за сравняване на процентите на реализация в две групи.
Какво ми показва p-стойността?
Вероятността да се наблюдава разлика поне толкова голяма, ако двата варианта всъщност са имали еднаква успеваемост. Ако е под 1 минус нивото на доверие, например под 0.05 при 95%, резултатът се счита за значим.
Какво представлява относителното увеличение?
С колко процентът на реализация на B е по-висок или по-нисък от този на A, като дял от процента на A. 2% спрямо 2.5% е увеличение от 25%.
Мога ли да спра теста веднага щом стане значим?
Многократната проверка и спирането при първия значим резултат увеличават броя на фалшивите положителни резултати. Определете размера на извадката предварително, например с калкулатора за размера на извадката за A/B тест, и направете една оценка.
Какво показва интервалът за разликата?
Диапазонът от правдоподобни стойности за процента на B минус процента на A в процентни пунктове при избраното ниво на доверие. Ако включва нулата, тестът не е значим.
Работи ли с много малки числа?
z-тестът разчита на нормално приближение и изисква достатъчно реализации във всяка група — като ориентир поне 10. При по-малко резултатът е ненадежден.