# A/Bテスト有意性計算機

2つのコンバージョン率の差が統計的に有意かどうかを確認できます。バリアント A と B の訪問者数とコンバージョン数を入力すると、各率、相対的な改善率、差の信頼区間、z スコア、両側 p 値が得られます。

## よくある質問

### どの検定が使われますか？

プールした標準誤差を用いる両側2標本比率 z 検定です。2つのグループのコンバージョン率を比較する標準的な検定です。

### p 値から何がわかりますか？

両方のバリアントのコンバージョン率が実際には同じ場合に、これ以上の差が見られる確率です。信頼水準から1を引いた値を下回る場合、たとえば信頼水準95%で0.05を下回る場合、結果は有意とみなされます。

### 相対的な改善率とは何ですか？

A のコンバージョン率に対する割合として、B の率が A よりどれだけ高いか、または低いかを示します。2%に対して2.5%なら、改善率は25%です。

### 有意になったらすぐにテストを終了してもよいですか？

繰り返し確認して最初に有意になった時点で終了すると、偽陽性が増えます。たとえば A/Bテストのサンプルサイズ計算機を使って事前に標本サイズを決め、一度だけ評価してください。

### 差の区間から何がわかりますか？

選択した信頼水準における、パーセントポイントで表した B の率から A の率を引いた値の妥当な範囲です。ゼロを含む場合、検定結果は有意ではありません。

### 数が非常に少なくても機能しますか？

z 検定は正規近似に依存し、各グループに十分なコンバージョン数が必要です。目安は少なくとも10件です。それより少ない場合、結果の信頼性は低くなります。

ここに広告を掲載しませんか？

[メールでお問い合わせ](mailto:hi@dennn.is?subject=OneClick%20Pro%E3%81%A7%E3%81%AE%E5%BA%83%E5%91%8A%E6%8E%B2%E8%BC%89)

[広告 433 個のツールを1つのMCPサーバーでAIエージェントに提供します。](https://multitaskai.com/ja/?ref=oneclickpro)
