よいA/Bテストとは何か? – 2014年に行ったEメールのA/Bテストからの教訓

black and white keyboard mouse

皆さん、こんにちは。2014年、Optimizelyマーケティング・オートメーション・チームは、EメールのA/Bテストに真剣に取り組んできました。2015年は、エクスペリエンスの最適化を次の段階へと進めていく予定であることと、お客様に対して、最高のエクスペリエンスを提供するために厳密なテストキャンペーンを継続していきたいと考えていたからです。

2014年に行ったA/Bテストを振り返ることで学ぶことのできたいくつかの教訓を、その適用対象となる2015年に行う予定のEメールの実験とともに紹介させていただきます。

教訓1:しっかりした仮説を立てることは不可欠である

「Eメールの実験の成功」とは、単に即座に決断を下すことができるようになるというだけではなく、今後メールを送信する際に適用することができる新たな事実も得られるものです。よりうまくいったバリエーション(改善結果)が、行ったテストにだけにしか適用されていないのだとしたら、実験から導き出すことのできる最も貴重な情報を得るチャンスを失っていることになります。

私がこのことに気付いたのは、「FAQ: どのくらいの期間テストを実施すべきか?」というバリエーションによりクリック数が33.9%上昇した、あるテストの結果を目にした時です。

件名に対するテスト

コントロール(元の状態):「テストを正確に測定できていますか? テストの統計的な有意性を測定する」

バリエーション:「FAQ:どのくらいの期間テストを実施すべきか?」

この結果に興奮した私は、Optiverseに検証結果を投稿しましたが、なぜ、バリエーションの方が好まれたのか、ということについては分かりませんでした。バリエーションのクリック率が上昇したのは、人々が好んでFAQを読むからでしょうか。あるいは、一人称で書かれているからでしょうか。それとも、全く別の理由からでしょうか。

この検証を行う上で立てた仮説はどうだったのかチェックしてみたのですが、書き留めていないこと気付きました。

:/

しっかりした仮説を立てるために最初に行うことは、テストを実行する前にそれを書き留めておくことです。

※しっかりした仮説を立てるために、優れたリソースを探しているのであれば、Shana Rusonisが投稿したこちらのブログ記事をチェックしてみてください。私はすでに20回以上、この記事を推奨してきました。なぜなら、フールプルーフな仮定がどんなものなのかが簡単にまとめられており、最適な判断を検証から導き出すためのアドバイスが紹介されているからです。

この件名のテストでは結論が出ていませんから、明確な答えが出るまで何度もテストを繰り返すことができます。

それでは、もう少し深くテストを検証していきましょう。Eメールのテストの最終的な目的は、新しいお客様から度々聞かれる質問を予測し、その質問に対する回答を示したリソースのリンクを提供することです。ですから、このテストに適した仮定は「件名に、お客様のテストの問題に対する考えを反映する質問文を使用したら、その回答を示すリソースへのページのクリック数が上昇する。」と考えることができます。

エクスペリエンスの最適化という視点からお客様が抱えている問題について考えると、続いていくつかの疑問が湧いてきます。お客様はどのようにして質問に対する回答を見つけるのでしょう? よくある質問に対する回答を届ける手段として、Eメールは適切なのでしょうか? Eメール経由で私たちのリソースにアクセスするのは、どのようなタイプのお客様なのでしょう?

そこで2015年には引き続き以下のようなテストを行う予定です。

  • オーディエンスを特定する
    • 仮説:以前にサポートを受けたことのあるお客様の方が、FAQ形式のEメールでのクリックスルー率が高い。
  • リソースの配置
    • 仮説:サポート依頼の提出フォームの隣にヘルプセンター内のFAQ記事のリストを追加すると、FAQに関連したサポートの依頼数が減る。

これらのテストは、お客様にとって何が重要であるのか、彼らと最適な形でコミュニケーションをとるにはどうすればよいのかを理解する助けとなるはずです。

教訓2:統計的に有意でない検証によって、ビジネス上の意思決定が行われてしまうことがある

スタートアップで働く私たちは、新しいオンラインマーケティングのトレンドを採り入れることと、自分たちのプロセスを無駄のないダイナミックなものに保つことのバランスについて、常に注意を払っています。私たちはしばしば新しい製品やプラットフォーム、ツールを使ってお客様により良いエクスペリエンスを届けてみたくなるのですが、新しいプラットフォームというのは必ずトレーニングや技術的な準備を必要とします。加えて送信するEメールのレビューにもいつもより時間をかけなければなりません。A/Bテストは新しいプラットフォームや製品、機能が投資に値するものかどうかを検証する上で非常に役に立ちます。

3月に私たちは、PowerinboxというダイナミックなEメールプラットフォームが自分たちのニュースレターに使用できるかをテストしました。Powerinboxは私たちのユーザに対して、動的な、パーソナライズされたコンテンツを配信してくれます。このプラットフォームによってユーザにとって最も価値のあるコンテンツを自動的に配信するようなテンプレートが作成されれば、毎月のニュースレター配信が効率化できる可能性があります。その結果私たちはさらに新しいツールを導入したり、他の事に予算を割いたりできるかもしれません。

私たちはPowerinboxを使用した場合と使用しなかった場合とでニュースレターのテストをしました。その結果、クリック率では統計的に有意な差はありませんでした。このテストを実施したことで、私たちはこのEメールプラットフォームを購入すべきかどうかを十分な情報に基づいて判断することができ、マーケティングに新しい製品を導入することに伴う莫大な時間を節約することができたのです。

教訓3:今後のEメールを最適化するために様々な検証を行う

2014年に実施したテストでいくつか実に面白い発見がありましたので、ここで紹介します。

テスト1:CTA(Call to Action)ボタン

Optimizely email call to action button test

A:ビデオを見る | B:スライドを見る

  • オーディエンス:お客様
  • ゴール:CTAボタンのクリック数
  • 結果:Bのクリック数の方が49.6%多かった。
  • 発見:お客様はビデオよりスライドを見ることを好む。そして私たちがWebinarのスライドをSlideshareにアップロードすることがROEの点でも好ましいことが証明された。

テスト2:件名

A:A/BテストではなくSEMに時間を使うのがばかげている理由

B:[電子書籍]A/BテストではなくSEMに時間を使うのがばかげている理由

  • オーディエンス:リード(見込み客)
  • ゴール:CTAボタンのクリック数
  • 結果:件名Bのクリック数の方が30%多かった。
  • 発見:私たちのデータベースに登録されているリードは、自分たちが受け取っているコンテンツがどういう種類のものなのかを知りたがっている。

テスト3:件名

A:Optimizely認定を50%オフで取得できます | B:Optimizely認定を取得して、キャリアアップを図りましょう

  • オーディエンス:お客様
  • ゴール:開封率
  • 結果:件名BではEメールの開封率が13.3%増加した。
  • 発見:お客様はキャリアを成長させる機会を求めている。

テスト4:CTAボタン

A:CTAを1つだけ設置 | B:複数のCTAを設置

  • オーディエンス:お客様
  • ゴール:CTAのクリック数
  • 結果:AのCTAを1つだけ設置した方のクリック数が13.3%増加した。
  • 発見:選択肢が複数あるよりもCTAを1つに絞った方が効果的である。読者のためにEメールのベストプラクティスに挑戦することは、いつも一番の訓練になります。業界のスタンダードが必ずしも正しいとは限りません。

テスト5:送信時間

A:午前7時(太平洋標準時) | B:午後4時(太平洋標準時)

  • オーディエンス:お客様
  • ゴール:クリック数
  • 結果:Bの午後4時(太平洋標準時)に送信したときのクリック数の方が8.5%多かった。
  • 発見:お客様がEメールを開封する確率は午後の方が高い。私たちは当社の製品アップデートに関するキャンペーンについて、午前7時(太平洋標準時)に1回、そして午後4時(太平洋標準時)にもう1回、内容の異なるEメールを送信してテストを行いました。この結果は統計的に有意ですが、さらに世界各地のお客様により最適なエクスペリエンスを提供するために、さまざまな国やタイムゾーンでこのテストを実施することが有効です。
  • 次のステップ:タイムゾーン/国別の送信時間の検証。

教訓4:有意義かつ大胆な検証を行う

Number of email a/b tests optimizely ran in 2014.

当社が行ったEメールのA/Bテストは合計82回を記録しました。この82回のテストのうち、27回は統計的に有意なものとなりました。これは全体の30%という妥当な割合ですが、テストを行ってより多くの統計的に有意な結果を得られる簡単な方法があります。それは、大胆になることです。

Number of statistically significant email a/b tests

件名にこだわったり、CTAボタンのラベルの表現を変えてみたりするのは簡単にできます。しかし、大きな変更を試してみる方が、意義のある貴重な結果を見いだす可能性が高まるでしょう。Optimizely Academyにはこれに関する素晴らしい記事があります。

2015年は、私たちのEメールの検証を大胆かつクリエイティブなものにし、また影響力の強いものにしたいと考えています。今年、私たちは、Eメールの開封率やクリック率にユーモアはどう影響するか、さまざまな種類の情報を提供するのに最適な媒体はどれか、また世界中のお客様のコミュニケーションの方法やカルチャーに順応することで、お客様のEメールエクスペリエンスを最適化できるのはどんな方法かといったことを突き止められればと思っています。

optimizely toolkit for higher performing email marketing