コンテンツへスキップ

A/Bテスト有意性計算機

2つのコンバージョン率の差が統計的に有意かどうかを確認できます。バリアント A と B の訪問者数とコンバージョン数を入力すると、各率、相対的な改善率、差の信頼区間、z スコア、両側 p 値が得られます。

リセット

よくある質問

どの検定が使われますか?

プールした標準誤差を用いる両側2標本比率 z 検定です。2つのグループのコンバージョン率を比較する標準的な検定です。

p 値から何がわかりますか?

両方のバリアントのコンバージョン率が実際には同じ場合に、これ以上の差が見られる確率です。信頼水準から1を引いた値を下回る場合、たとえば信頼水準95%で0.05を下回る場合、結果は有意とみなされます。

相対的な改善率とは何ですか?

A のコンバージョン率に対する割合として、B の率が A よりどれだけ高いか、または低いかを示します。2%に対して2.5%なら、改善率は25%です。

有意になったらすぐにテストを終了してもよいですか?

繰り返し確認して最初に有意になった時点で終了すると、偽陽性が増えます。たとえば A/Bテストのサンプルサイズ計算機を使って事前に標本サイズを決め、一度だけ評価してください。

差の区間から何がわかりますか?

選択した信頼水準における、パーセントポイントで表した B の率から A の率を引いた値の妥当な範囲です。ゼロを含む場合、検定結果は有意ではありません。

数が非常に少なくても機能しますか?

z 検定は正規近似に依存し、各グループに十分なコンバージョン数が必要です。目安は少なくとも10件です。それより少ない場合、結果の信頼性は低くなります。

OneClick Proについて

OneClick Proは、日々の作業に役立つ150以上のウェブツールを集めた無料コレクションです。画像や単位の変換、コードの整形と検証、ドメインやSEOの確認、テキスト、日付、数値の処理などに利用できます。すべてのツールは登録やサブスクリプションなしで使えます。入力した内容は結果の計算にのみ使用され、保存されることはありません。単発の作業に使える便利なツールボックスとして、または毎日使うツールをブックマークしてご活用ください。