ABテスト有意差判定ツール｜セッション数とCV数から勝ちパターン・有意差を判定

ABテストの結果を見て「どちらが本当に良いのか分からない」と感じたことはありませんか？
CVRが高いだけでは、必ずしも優位な結果とは限りません。

このページでは、セッション数とコンバージョン数（CV数）を入力するだけで、ABテストの結果を統計的に評価できる無料ツールを提供しています。

ABテストとは

ABテストとは、複数のパターンを同時に配信し、どのパターンが最も成果を出すかを比較する手法です。
Webサイトや広告、LPの改善において広く活用されています。

例えば以下のような改善で使われます。

• CTAボタンの文言変更
• LPのデザイン変更
• フォームの入力項目の最適化
• 広告クリエイティブの比較

ABテストでよくある判断ミス

ABテストでは「CVRが高い方を採用する」という単純な判断をしてしまうケースがあります。
しかし、サンプル数が少ない場合は偶然の差で結果が変わることもあります。

例えば次のケースです。

Aパターン：1000セッション / 50CV（CVR5%）
Bパターン：1000セッション / 60CV（CVR6%）

一見するとBが優れているように見えますが、この差が統計的に有意であるとは限りません。
そのためABテストでは「有意差」や「信頼度」を考慮して判断する必要があります。

このABテスト有意差判定ツールでできること

このツールでは、ABテストの結果を以下の指標で評価できます。

• 勝ちパターンの判定
• 改善率（CVRの差）
• 有意差の目安（確率ベース）
• CVRの信用区間
• 必要サンプル数の目安

単なるCVR比較ではなく統計的な視点からABテストを判断できるのが特徴です。

このツールの計算方法について

本ツールではベイズ推定を用いて各パターンのCVRを評価しています。
ベイズ推定では「どのパターンが最も良い結果になるかの確率」を直接算出できるため、直感的に判断しやすいのが特徴です。

また、以下の条件を前提として計算しています。

• 有意水準：5%
• 検出力：80%
• 最低検出差：10%

一般的に使われやすい数値を基準としています。

最終的な判断はビジネス状況も含めて行ってください。