こんにちは。ブランディング・マーケティングに関するコンサルティング事業を展開している、株式会社ピージェーエージェント代表取締役の加藤です。
あなたは、「ABテスト」という言葉をご存知でしょうか？
数値データを用いて論理的に意思決定をすべきだという考えのもとで、弊社のクライアント企業様からも、よく「ABテストを実施して判断したい」という声を頂戴することが多くなってきました。
今回は、そんな便利なABテストを実施する上で意識をするべきポイントと、陥りやすい落とし穴についてお話をいたします。
ABテストを実施してマーケティング施策の改善を行なっていきたいと考えている企業様は、ぜひご一読ください。
ABテストとは
ABテストとは、複数の異なるバージョンのウェブページなどを比較し、どちらがより良い結果をもたらすかを判断する方法のことです。昨今のデジタルマーケティングにおいて、広く使用されているメジャーな方法の一つです。
ABテストでは、例えば、2つの異なるデザイン、色合い、文章などのウェブページを比較することができます。閲覧者をランダムにそれぞれのバージョンのページを見るように振り分け、その後結果データを収集し、どちらのバージョンがより高いコンバージョン率や売上をもたらすかを判断するというような流れです。
ABテストは、科学的な手法に基づいてデータを分析するため、デジタルマーケティングにおいて意思決定をする際には非常に有用な方法の一つです。ウェブページ以外でも、「メルマガの件名はどのように書いた方が開封率が高くなるか」「バナー広告のクリエイティブはどのような色合いの方が売上が高くなるか」など、様々な場面で使用することができます。「こちらとあちら、どちらがより良い成果につながるかな」ということを検証したい場合において、威力を発揮します。
ABテストを実施する際に意識をするべきポイント
そんな便利なABテストですが、実施時にはいくつか意識をするべきポイントがあります。
目的を明確にする
ABテストを実施する前に、どのような問題を解決しようとしているのか、何を改善したいのかを明確にすることが重要です。デジタルマーケティングにおいては、目的＝ゴールのことを「コンバージョン」と呼ぶ場合が多いですが、コンバージョンを何にするのかが明確でない場合、テストを実施しても意味がありません。
例えば、
・ウェブページの改善であれば、「ウェブページ上の製品問い合わせフォームの入力完了者の数」をコンバージョン数とする
・メルマガの改善であれば、「メールを開封した人の数」をコンバージョン数とする
・バナー広告の改善であれば、「バナー広告をクリックしてサイトに流入した人の数」をコンバージョン数とする
・・・というように、定量的にはっきりと決めることが大切です。
閲覧者はランダムに割り当てる
ABテストでは、閲覧者をランダムにそれぞれのバージョンを見るように振り分ける必要があります。
例えば、「メルマガの件名を改善して開封数を増やす」という目的のABテストで考えてみましょう。メルマガ送信対象者の母数が5,000人いた場合、2,500人：2,500人に分けて、それぞれにAとB異なる件名の2つのメールを送信してみて結果を見ることになります。その2,500人を抽出する際に、人間の意識が入ってしまうと良くありません。「男性と女性で分けよう」「東日本に住んでいる人と西日本で住んでいる人で分けよう」などと考えてはいけません。あくまで機械的にランダムに割り当てることが重要です。
対象者を機械的にランダムに分ける際には、Excelを使うと便利です。ここでは細かな説明は割愛しますが、「Excel ランダム 割り当て」などで検索をすると、いくつか方法が出てくると思いますので、そういった記事も参考にしながら割り当てを実施してみてください。
変数を1つにする
ABテストでは、変更を1つにするということを意識してください。
例えば、「バナー広告をクリックしてサイトに流入した人の数を増やす」という目的のABテストで考えてみましょう。AとB異なる2つのバナー広告画像を用意することになりますが、その際に「色合い」「文章」「写真」という3つの変数全てが異なる2つの画像でテストをしてしまうとどうなるでしょうか？その場合、「Aが優秀」という結果が出たとしても、果たして「色合い」のおかげなのか、「文章」のおかげなのか、「写真」のおかげなのかが分からなくなってしまうのです。どの変数が結果に影響を与えたのかを特定することができなくなってしまうということです。
・まずは「赤系」と「青系」の2つの色合いのバナー画像を用意してテストをし、色合いはどちらが良いかを判断する
・次に「フランクな文章」と「堅い文章」の2つの文章のバナー画像を用意してテストをし、文章はどちらが良いかを判断する
・最後に「男性の写真」と「女性の写真」の2つの写真のバナーナー画像を用意してテストをし、写真はどちらが良いかを判断する
・・・というような形で段階を踏んで進めることが大切です。そして、その結果として、「赤系」の色合いで「フランクな文章」で「女性の写真」のバナー画像が良いというような結論を論理的に導き出すことができます。
統計的優位性の有無が重要
ABテストにおける「統計的優位性」とは、2つの異なるバージョン（AとB）の結果の優劣を比較する際に、その差が偶然によるものでなく、統計的に有意であることを示す指標のことです。
例えば、前述の「赤系」と「青系」の2つの色合いのバナー画像を用意してテストをしているケースで考えてみましょう。
・赤系は100人の閲覧者のうち50人がクリックしてくれた
・青系は100人の閲覧者のうち51人がクリックしてくれた
というテスト結果が出た際に、あなたはこのテスト結果を基に「青系のバナー画像が優秀だ」と判断しますでしょうか？おそらく「いや、50人と51人って誤差の範囲だし、たまたまで何とも言えないんじゃない？」と感じるのではないでしょうか？・・・その直感は正しいです。この場合、このテスト結果には「統計的優位性が無い」ので、テスト結果を基にして優劣は判断できません。
では、
・赤系は100人の閲覧者のうち50人がクリックしてくれた
・青系は100人の閲覧者のうち60人がクリックしてくれた
場合ではどうでしょうか？「50人と60人で10人も結果に差があるから、これは青系が優秀と言って良い」「いや、これも誤差の範囲でたまたまだろう」というように、意見が割れるのではないでしょうか？
数学においては、このような場合に「統計的優位性が有るか無いか」ということを計算によってはっきりと結論を付けることができます。もし計算方法が知りたい方は「統計的優位性 計算方法」などで検索をして調べてみてください。「有意水準」「有意差」「p値」など、数学的な話のオンパレードでおそらく挫折すると思います。少なくとも私は挫折しました（笑）
ここでは、そんな計算を自動で実施してくれる便利なツールを1つご紹介します。
「A/B Testing Calculator for Statistical Significance」
https://jp.surveymonkey.com/mp/ab-testing-significance-calculator/
このツールを使うと、直感的に統計的優位性の有無を判断できます。ちなみに、前述の「赤系が50人クリック、青系が60人クリック」の場合は、統計的優位性は無いので、「誤差の範囲でたまたま」が正解ということになります。
安易にABテストの結果に惑わされるな
ABテストは論理的に意思決定をする上で非常に有用な手法です。しかし、統計的優位性が無いテスト結果を基に判断をしてしまうと、間違った意思決定をしてしまうことにもなりかねません。
安易に何となくABテストを実施するのでは、全く意味がありません。しっかりと統計的優勢性の有無を確認し、論理的にマーケティングを実施していってください。きっとより良い成果につながるはずです！
