A/Bテスト

技術用語
約1分で読めます

2つ以上のバージョンを同時に公開し、どちらがより効果であるかを統計的に比較する実験手法です。

別名
A/B TestA/B Testing分割テストSplit Test

詳しい説明

A/Bテスト（A/B Test）は、2つ以上のバージョン（AとB）をユーザーにランダムに表示し、どちらの指標がより優れているかを統計的に比較する実験手法です。ウェブサイトのデザイン, メールの件名, 広告コピー, 価格設定, ボタンの文言といった要素をデータに基づいて改善する際に用いられます。信頼性の高い結果を得るには、十分なサンプルサイズと統計的有意性の確認が必要です。OptimizelyやVWOなどが代表的なツールであり、マルチアームドバンディット（Multi-Armed Bandit）アルゴリズムを使用すると、成果の高いバージョンにトラフィックを自動的に多く配分してテストを最適化できます。

ツール選定において重要な理由

A/Bテスト機能を持つツールを使用することで、推測ではなくデータに基づいて改善の成否を判断できます。ただし、サンプルサイズが小さかったり、統計的有意性を考慮しなかったりすると、誤った結論を導きやすくなります。ツールが有意性の算出や十分なサンプル数の案内、同時に複数の実験を管理する機能をサポートしているかどうかが、信頼できる結果を得るための鍵となります。

ツール選定時の確認事項

  • 統計的有意性と必要なサンプルサイズを案内してくれるか
  • 複数の実験を同時に実行し、干渉（衝突）を管理できるか
  • コンバージョンや売上といった実際の目標指標を追跡できるか
  • マルチアームドバンディットなどの自動トラフィック配分をサポートしているか

実際の適用例

新規登録ボタンの文言を「無料で開始」と「今すぐ体験」に分けて訪問者にランダムに表示し、2週間の登録コンバージョン率を比較します。サンプルが蓄積され、統計的に有意な差が確認できたら、より効果の高い文言を採用するというように、データに基づいた改善を繰り返します。

関連用語

データ分析SEOパーソナライズ (Personalization)