본문으로 건너뛰기

A/B 테스트 유의성 계산기

두 전환율의 차이가 통계적으로 유의한지 확인하세요. A와 B 변형의 방문자 수와 전환 수를 입력하면 각 전환율, 상대 상승률, 차이의 신뢰구간, z점수, 양측 p값을 확인할 수 있습니다.

초기화

자주 묻는 질문

어떤 검정을 사용하나요?

두 그룹의 전환율을 비교하는 표준 검정인 풀링 표준 오차를 사용하는 양측 두 비율 z-검정입니다.

p값은 무엇을 알려주나요?

두 변형의 실제 전환율이 같을 때 이 정도 이상의 차이가 관측될 확률입니다. 신뢰수준에서 1을 뺀 값보다 낮으면, 예를 들어 신뢰수준이 95%일 때 0.05보다 낮으면 결과가 유의하다고 봅니다.

상대 상승률은 무엇인가요?

A의 전환율을 기준으로 B의 전환율이 얼마나 높거나 낮은지를 백분율로 나타낸 값입니다. 2%와 2.5%를 비교하면 상승률은 25%입니다.

유의해지는 즉시 테스트를 중단해도 되나요?

결과를 반복해서 확인하고 처음 유의해졌을 때 중단하면 거짓 양성률이 높아집니다. A/B 테스트 표본 크기 계산기 등을 사용해 표본 크기를 미리 정하고 한 번만 평가하세요.

차이 구간은 무엇을 보여주나요?

선택한 신뢰수준에서 B의 전환율에서 A의 전환율을 뺀 값에 대한 그럴듯한 범위이며, 단위는 퍼센트포인트입니다. 0을 포함하면 검정 결과는 유의하지 않습니다.

수가 매우 적어도 작동하나요?

z-검정은 정규 근사에 의존하며, 각 그룹에 충분한 전환 수가 필요합니다. 경험칙상 최소 10회가 필요하며 그보다 적으면 결과를 신뢰하기 어렵습니다.

OneClick Pro 소개

OneClick Pro은 일상 업무에 활용할 수 있는 150개 이상의 웹 도구를 무료로 모아 제공합니다. 이미지와 단위를 변환하고, 코드를 포맷하고 검증하고, 도메인과 SEO를 확인하고, 텍스트와 날짜, 숫자를 다룰 수 있습니다. 모든 도구는 가입이나 구독 없이 사용할 수 있으며, 입력한 내용은 결과를 계산하는 데만 사용되고 저장되지 않습니다. 한 번 쓰는 작업을 위한 빠른 도구 모음으로 활용하거나, 매일 자주 쓰는 도구를 북마크해 두세요.