電子メール マーケティングでの A/B テストの活用

Microsoft Corporation

2014 年 11 月

概要

このホワイトペーパーは、ユーザーが A/B テストのコンセプトを簡単に理解し、Microsoft Dynamics Marketing が提供する柔軟性と構成について学ぶのに役立ちます。また、採用するベスト プラクティスを強調することにより、ユーザーが電子メール マーケティングの A/B テストで良い結果を得られるようにします。

適用対象

Microsoft Dynamics Marketing 2015 更新プログラム およびそれ以上

はじめに

A/B テストは、マーケティング広告の仮説テストを遂行する簡単な方法です。Microsoft Dynamics Marketing 2015 更新プログラム により、電子メール マーケティング メッセージの A/B がテストが導入されました。

この機能を使用すると、マーケティング担当者は、同じプロモーション 電子メールの少し異なる 2 つのバージョンを作成し、"勝者条件" を設定します (たとえば、Opens、UniqueClicks の数など)。これらの電子メールはテスト グループに送信されます。また、テスト グループは元の目標母集団の一部です (仮にこれらの 10% とします)。テスト グループの半分は "バージョン A" を受け取り、残りが "バージョン B" を受け取ります。

十分な時間が経過してから (3 日と仮定)、プロモーション電子メールの両方のバージョンのために提供された応答数ごと、および初めに確立された勝者条件ごとに、"勝者バージョン" が決定されます。.

"勝者バージョン" は残りの目標母集団に対して、最終的な電子メールとして送信されます。上記の自動化プロセスはいつでも停止、または上書きできます。たとえば、"勝者バージョン" の自動選択を上書きするか、進行中の A/B テストを取り消すことができます。"勝者バージョン" が送信前の場合、"勝者バージョン" の送信設定を変更できます。

用語の定義

 

用語 定義

バージョン

A/B テスト活動の一部としてテストされる 2 種類の電子メール バージョンは、"バージョン" または "バージョン A" または "バージョン B" と呼ばれます。

テスト グループ

テスト フェーズの一部として電子メール バージョンを受け取る電子メール受信者の集団は、"テスト グループ" と呼ばれます。

勝者認定時間

2 つの電子メール バージョンで受信した応答が勝者バージョンであると判断されるとき、テスト フェーズの終了は "勝者認定時間" と呼ばれます。

受注条件

勝者バージョンを判断するために使用する基準 (または条件)。

受注者バージョン

テスト フェーズの最後に、テスト グループの応答に基づき優れていることが分かった電子メール バージョン。

noteメモ
Microsoft Dynamics Marketing は A/B テストの結果が統計的に優位であるかどうかコントロールしません。テストのために定義した条件に基づき勝者と認定するだけです。(統計的な優位性は、実験結果が偶然の結果ではなく因果関係により生成された、可能性を確認するための数学的技術です。)全般に、大きなサンプル集合により生成される一定で幅広い違いは、小さな多種多様なサンプルにある小幅の違いより、統計的に優位になる傾向があります。

電子メールに対する A/B テストの柔軟なプラットフォーム

Microsoft Dynamics Marketing 2015 更新プログラム により、電子メールの A/B テストに関してとても柔軟性が得られます。以下の内容を電子メール バージョン対してテストできます。

  • どの件名がより多くの応答を得られるか

  • どの内容または内容のレイアウトがより認められるか

  • 電子メールのどの ‘発信者名’ がより安全と見なされるか

  • どの時間が目標母集団に電子メールを送信するのに最適か

上記のいずれかまたは複数を 2 つの電子メール バージョンに適用できます。Microsoft Dynamics Marketing 2015 更新プログラム を使用すると、以下の電子メール応答の 1 つまたはそれ以上 (加重平均) を ‘勝者条件’ として選択できます。

  • オープンの数

  • クリックの合計数 (電子メール本文内にあるリンクに依存)

  • 固有のクリック数 (電子メール本文内にあるリンクに依存)

  • 確実に戻ってくる数

  • 間接的に戻ってくる数

  • 転送数

  • 登録解除数

積極的な行動 (オープンまたはクリックなど) により関連する確率変数のスコアが増加します。消極的な行動 (登録解除など) はスコアを減少させます。

Microsoft Dynamics Marketing 2015 更新プログラム を使用すると、いくつかの方法で ‘テスト グループ’ を指定できます。

  • 実際の対象電子メール受信者の分割割合を指定

  • 別個のマーケティング リストを一緒に ‘テスト グループ’ として指定

柔軟な A/B テスト機能を実行中の注意書き

A/B テストの真の意図は 2 つのバージョン間のバリエーションの量を最少にすることですが、この機能を使用すると 2 つのバージョン間で多くの違いを構成することができます。ただし、そうする場合、結果が表示されるとき、どのバリエーションが良い結果を得たかに関する結果に影響しません。

マーケティング電子メールに対する A/B テストのベスト プラクティス

一度に 1 つのバリエーション

同じ A/B の組み合わせで種々のパラメーターを多様にする場合、2 つの中で優れた電子メール バージョンを取得するでしょう。ただし、実際にどのパラメーターが結果の違いを生み出すか、どの程度影響するか知ることはできません。

たとえば、マーケティング担当者はバージョン A とバージョン B に関するさまざまなレイアウトを作成し、2 種類のバージョンに異なる件名行を指定します。A/B テストが完了した後で、バージョン A が優れたバージョンであることがわかります。ただし、マーケティング担当者は、応答の違いを生じさせたのがレイアウトのせいなのか、または件名行のせいなのか確信をもって結論することはできません。

練習としての A/B テストは学習経験として扱われるべきであり、ここでマーケティング担当者は、時間とともに様々なセグメントで電子メールの効果を上げる異なる手法を収集します。

より大きいテスト グループ

A/B テストは統計的な概念です。Microsoft Dynamics Marketing 2015 更新プログラム では、2 つのバージョンが取得する結果間の違いは、単に算術的に比較されます。さらに統計的に優位な結果を得るため (より高い信頼区間)、統計の原則は大きなサンプル サイズを使用することが重要であるとしています。

結果間の大きいギャップ

Microsoft Dynamics Marketing 2015 更新プログラム では、2 つのバージョンが取得する結果間の違いは、単に算術的に比較されます。さらに統計的に優位な結果を得るため (より高い信頼区間)、結果数の間の違いはより大きいべきであることに注意してください。

たとえば、1 つのサポート案件で観察されたオープン レートは 20% (バージョン A) および 21% (バージョン B) です。そのほかのサポート案件では、オープン レートは 2% (バージョン A) および 21% (バージョン B) でした。いずれのサポート案件でも、バージョン B が優れていることがわかります。ただし 2 番目サポート案件の結果は、統計的により優位です (または信頼できる)。

十分なテスト時間

通常、電子メールの受信者が電子メールに応答するために 48-72 時間を許容する必要があります。この数値は具体的で、産業全体およびセグメント全体で増減できます。

2 つのバージョンの電子メール間で送信時間をテストするとき、後者のバージョンが送信されてから十分の時間を許可します。最初のバージョンが優勢であっても、十分のテスト時間をかけると、その効果が下がる可能性があります。たとえば、マーケティング担当者が送信時間をテストする場合、彼女は送信時間として月曜日の朝 (バージョン A 用) および金曜日の晩 (バージョン B 用) を指定します。テスト フェーズは後のバージョン (金曜日の晩) が送信されてから 4~5 日間継続する必要があります。これにより、そのバージョンの受信者が電子メールに応答するための公平なチャンスを得られ、より信頼性の高い A/B テスト結果を生成できます。

 

このトピックについて Microsoft にコメントを送信する
© 2015 Microsoft.All rights reserved.
表示: