あなたはABテストでこんな間違いしていませんか？

From:藤岡将貴

先日、ダン・ケネディの商品のアップセル（商品購入後に一度だけ表示される画面で、「これは今だけの特別なオファーです。」といったメッセージで、追加の商品を買ってもらうことです）で高い成約率が出た、ある方法がありました。

そこで、それと同じ方法を、セールスライティングの商品のアップセルでもやってみよう、と思ったわけです。じゃあ、すぐにアップセルを入れ替えよう、、、とするわけではありません。そこはまずは、テストです。テストしてうまくいったら、全面的に差し替える。これが鉄則です。なので、早速、次のキャンペーンの時にテストすることにしました。

テストの内容とは？

その時やったテストとは、ざっくりこんな感じです（詳細を書くとわかりにくくなるので、シンプルな数値に変えて単純化しています）

キャンペーンで販売するメインの商品はどちらも同じ。で、「テストA」の方は、購入後のアップセルで「商品A（価格６万円）」を販売。「テストB」の方は、「商品B（価格３万円）」を販売。というものです。「テストA」が従来のやり方、「テストB」が今回テストした新しいやり方、です。

さぁ、どちらが勝ったでしょうか？

今回のテストは、アップセルの売上を増やせるか？を検証するためのものです。なので、アップセルの売上で勝敗が決まります。で、テストした結果、、、

今回テストした「テストB」の勝ち！

アップセルの売上は2.6倍で「テストB」の勝ち、となりました。テストする前に期待していた結果が出たので、「やった！」と嬉しくなって、早速、テスト結果を簡単にまとめて、社内でシェア。すると、しばらくして社長の小川から、バサっとある一言が、、、

「これじゃ、何もわからないよ」

「え…」でも、「たしかに…」言われてみて僕もそう思いました。僕は、ABテストでやってはいけない致命的なミスをしていました。さて、一体どこがミスだったのか、あなたにはわかりますか？？

そこで今日は、自分へのリマインドも含めて、今回僕がやってしまったミスも含めて、「ABテスト３つのポイント」をお伝えしたいと思います。これを抑えておかないと、せっかく時間と労力をかけてやったテストがムダになってしまいます。でも、これは一番の大きな問題に比べたら、些細なものです。最悪なのは、、、

その間違った結果を正しいと信じてしまい、その後、その間違った結果を取り入れてしまうことです。それが間違った結果だということに気がつかなければ、その後ずっと、それを放置したままになります。最悪、かなりの売上を自ら棒に振ることになりかねません。なので、あなたは大丈夫かもしれませんが、今一度抑えておいてください。

まず１つ目。

「十分なCV数を確保する」

です。DRMの世界では、ABテストは「40CV」を基準にそのテストの”有効性"を判断する、というのが昔から言われています。例えば、「27CV　対　41CV」とか「37CV　対　55CV」のように、40CVを超えたらテスト結果の信ぴょう性が高いと判断します。

逆に言えば、どちらもCV数が40以下だった場合、それは信ぴょう性が低い、という判断になります。その場合、もっとアクセスが見込めるケースでテストをし直すか、そもそも、インパクトが小さいので、テストする必要がなかった、ということになります。

次に２つ目。

「アクセスを均等に割り振る」

です。ABテストなので、当然、ABに均等にアクセスを割り振らないといけません。「A」が1000アクセス、「B」が500アクセスでは、それはCV数が違ってきて当然なので、平等なテストとは言えないわけです。平等というのはアクセスの量だけではありません。アクセスの質も平等である必要があります。グーグルのオプティマイザを使ってテストすれば、自動的に均等に振り分けてくれます。オフラインのダイレクトメールなど、手動でリストを割り振る場合には、購入に影響を及ぼしそうな偏りが起きないように、ランダムに割り振る必要があります。

最後に３つ目。これが、僕が今回やってしまったミスです。それは、、、

「テストしたい部分だけが１箇所違う状態でテストする」

です。もう一度、上の方の図を見ていただきたいんですが、今回、アップセルのテストをしました。ですが、アップセルで販売した商品をよく見ると、商品も違いますし、価格も違います。つまり、２箇所が違う状態でテストしてしまったわけです。これはやってはいけません＿|￣|○

今回のテストでは、「商品Aよりも商品Bを売る方が売れるんじゃないか？」ということをテストするものでした。その結果、テストBの方が売上が大きかったので、「テストBの勝ち」と一旦判断したんですが、、、もしかしたら、商品Bが良かったから売れたんじゃなくて、価格が安かったから売れたんじゃないか？と見ることもできるわけです。

これでは、今後、商品Bをアップセルで売るのがいい、とは判断しきれません。もしかしたら、商品Aを同じ３万円で売った方がもっと売れる、ということもあるかもしれないので。

この３つは、ABテストの基本中の基本です。ですが、今回の僕のように、知っていても、うっかり見落としてしまうことのないように、あなたも十分に気をつけてください。そうしないと、間違った結果を正しいと勘違いして、その後、売れない方のやり方をずっと採用しかねませんので…

－藤岡将貴