# A/B 테스트 유의성 계산기

두 전환율의 차이가 통계적으로 유의한지 확인하세요. A와 B 변형의 방문자 수와 전환 수를 입력하면 각 전환율, 상대 상승률, 차이의 신뢰구간, z점수, 양측 p값을 확인할 수 있습니다.

## 자주 묻는 질문

### 어떤 검정을 사용하나요?

두 그룹의 전환율을 비교하는 표준 검정인 풀링 표준 오차를 사용하는 양측 두 비율 z-검정입니다.

### p값은 무엇을 알려주나요?

두 변형의 실제 전환율이 같을 때 이 정도 이상의 차이가 관측될 확률입니다. 신뢰수준에서 1을 뺀 값보다 낮으면, 예를 들어 신뢰수준이 95%일 때 0.05보다 낮으면 결과가 유의하다고 봅니다.

### 상대 상승률은 무엇인가요?

A의 전환율을 기준으로 B의 전환율이 얼마나 높거나 낮은지를 백분율로 나타낸 값입니다. 2%와 2.5%를 비교하면 상승률은 25%입니다.

### 유의해지는 즉시 테스트를 중단해도 되나요?

결과를 반복해서 확인하고 처음 유의해졌을 때 중단하면 거짓 양성률이 높아집니다. A/B 테스트 표본 크기 계산기 등을 사용해 표본 크기를 미리 정하고 한 번만 평가하세요.

### 차이 구간은 무엇을 보여주나요?

선택한 신뢰수준에서 B의 전환율에서 A의 전환율을 뺀 값에 대한 그럴듯한 범위이며, 단위는 퍼센트포인트입니다. 0을 포함하면 검정 결과는 유의하지 않습니다.

### 수가 매우 적어도 작동하나요?

z-검정은 정규 근사에 의존하며, 각 그룹에 충분한 전환 수가 필요합니다. 경험칙상 최소 10회가 필요하며 그보다 적으면 결과를 신뢰하기 어렵습니다.

여기에 광고를 게재하시겠어요?

[이메일 보내기](mailto:hi@dennn.is?subject=OneClick%20Pro%20%EA%B4%91%EA%B3%A0%20%EB%AC%B8%EC%9D%98)

[광고 433개 AI 에이전트 도구를 하나의 MCP 서버에서 제공하세요.](https://multitaskai.com/ko/?ref=oneclickpro)
