Към съдържанието

Калкулатор за статистическа значимост на A/B тест

Проверете дали разликата между два процента на реализация е статистически значима. Въведете посетителите и реализациите за варианти A и B и получете двата процента, относителното увеличение, доверителен интервал за разликата, z-оценката и двустранната p-стойност.

Нулиране

Често задавани въпроси

Какъв тест се използва?

Двустранен z-тест за два дяла с обединена стандартна грешка — стандартният тест за сравняване на процентите на реализация в две групи.

Какво ми показва p-стойността?

Вероятността да се наблюдава разлика поне толкова голяма, ако двата варианта всъщност са имали еднаква успеваемост. Ако е под 1 минус нивото на доверие, например под 0.05 при 95%, резултатът се счита за значим.

Какво представлява относителното увеличение?

С колко процентът на реализация на B е по-висок или по-нисък от този на A, като дял от процента на A. 2% спрямо 2.5% е увеличение от 25%.

Мога ли да спра теста веднага щом стане значим?

Многократната проверка и спирането при първия значим резултат увеличават броя на фалшивите положителни резултати. Определете размера на извадката предварително, например с калкулатора за размера на извадката за A/B тест, и направете една оценка.

Какво показва интервалът за разликата?

Диапазонът от правдоподобни стойности за процента на B минус процента на A в процентни пунктове при избраното ниво на доверие. Ако включва нулата, тестът не е значим.

Работи ли с много малки числа?

z-тестът разчита на нормално приближение и изисква достатъчно реализации във всяка група — като ориентир поне 10. При по-малко резултатът е ненадежден.

За OneClick Pro

OneClick Pro е безплатна колекция от над 150 уеб инструмента за ежедневна работа: преобразуване на изображения и единици, форматиране и валидиране на код, проверка на домейни и SEO, както и работа с текст, дати и числа. Всеки инструмент работи без регистрация или абонамент, а въведеното от вас се използва само за изчисляване на резултата и никога не се съхранява. Използвайте го като бърз набор от инструменти за еднократни задачи или добавете в отметките инструментите, на които разчитате всеки ден.