グリーゼな日々バックナンバー

Q: このA/Bテストの結果、信じていいのでしょうか?【グリーゼ!な日々】

Q: このA/Bテストの結果、信じていいのでしょうか?【グリーゼ!な日々】

2016年10月27日
【2016年10月27日】

こんにちは。グリーゼの 江島民子 です。

本メールマガジンのHTML版をお読みくださっている方、最近の号を読んで「あれっ?」と思ったことはありませんか?

実は、ここ数週間、メルマガ内のバナーの色や大きさ、中に書かれている文字のフォントなどに関するA/Bテストを行っていました。

A/Bテストとは、テストをしたい項目について、AとBの2つのパターンを用意して、どちらがより効果的かを検証する手法です。

弊社は、

◎バナーの中に書かれている文字は、A 白 B 黒 のどちらがクリック率が高くなるか?

◎バナーの色は、A 薄いピンク B 濃いピンク のどちらがクリック率が高くなるか?

などをテストしていたのです。

ところが・・・どうも、ことごとく「こちらのクリック率の方が高くなるはず」という仮説が外れてしまうのです。

そこで、スタッフからこんな↓質問が出ました。



─────────────────
◆Q: このA/Bテストの結果、信じていいのでしょうか?
─────────────────

まずは、皆さん、一緒に仮説を立ててみましょう。

>>> ここから

Q1:バナーの中に書かれている文字は、どちらがクリック率が高いか?

A 白 B 黒

Q2:バナーの色は、どちらがクリック率が高いか?

A 薄いピンク B 濃いピンク

Q3:バナー内の文字のサイズは、どちらがクリック率が高いか?

A 14ポイント B 18ポイント

Q4:バナー内に書かれている文章は、どちらがクリック率が高いか?

A いますぐクリック B クリックして事例をダウンロードする

>>> ここまで


いかがでしたか?

私たちは、全て「B」のほうがクリック率が高くなるという仮説を立てていました。

ところが、実際は、すべてのテストにおいて「A」の方がクリック率が高いという結果が出たのです。

このA/Bテストの結果、ほんとに信じていいの?

─────────────────
◆A:テスト結果の「有意性」を検証してみましょう
─────────────────

A/Bテストの精度は、テストの母数(サンプル数といいます)に左右されます。

例えば、開封率のテストを行う場合、

・40人(A 20人 B 20人)に配信して、Aの開封率 5%(= 1人)  Bの開封率 10% (= 2人)と出ても、それは「たまたま偶然そうだった」という可能性が高いですが、

・40,000人(A 20,000人 B 20,000人)に配信して、同様の結果が出たのであれば、かなり信ぴょう性が高いと言えるということです。

では、「サンプル数が何人ならいいの?」というと、決まった数値はありません。

「うちのこのテストでのサンプル数は、どのくらい必要なのか?」を知るためには、WEB上に無料で公開されているサンプル数算出ツールを使うとよいでしょう。

とはいえ、ツールで導き出されたサンプル数も、あくまでも仮説でしかありません。

ですから、A/Bテストを実施したあとには、「この結果には、統計的有意性があるのか?」(=このA/Bテストの結果、ほんとに信じていいの?)を検証する必要があるのです。

検証についても、WEB上に簡易的な計算式が公開されています。

弊社でも、A/Bテストの結果を計算式にあてはめて検証してみたところ・・・

「統計的有意性(=このテスト結果に信ぴょう性はあるのか?)は、ない」

ということがわかりました。ダメじゃん!!

というような「残念なお知らせ」も含め、昨日の「第2回 マーケティングオートメーション事例セミナー」では、セキララにお話ししました。

第3回は、1月26日(木曜日)に開催予定です。ぜひ、スケジュールを空けておいてくださいね!


▽▽▽▽▽▽

お客さまが「9月末にペンギンアップデートが実行されて、目の上のたんこぶだったライバルサイトが、いっきに圏外に飛びました!」と、満面の笑みでお知らせくださいました。

あれ?でも、ペンギンアップデート4.0には「不正なリンクを集めているサイトの順位を落とす」というペナルティはなく、単に「不正なリンクを無視する」という仕様だったのでは???

SEOの世界は、日々刻々と状況が変わるので、常に最新情報のキャッチアップが必要ですね。

▼11月から「コンテンツSEO」セミナーの講師が、シニアディレクターの小幡に変わります!いっそう現場寄りの話が聞けると思いますので、お楽しみに♪

▽▽▽▽▽▽


─────
編集後記
─────

「こんなサービスあったらいいな」シリーズ第1弾で、「折り込みチラシの入らない新聞があればいいのに」と書いたのを、覚えていらっしゃいますか?

なんとこれ、あっという間に解決しました。

ネットで検索してみてわかったのですが、ただ新聞販売店に「折り込みチラシ入れないでください」って言うだけでOKでした。

な~んだ。自分で勝手に「そんなサービスはない」と思い込んでいただけだったんですね。


「ないと思っていたら、意外とあった」ものといえば・・・「ガヤガヤ音」です。

受験生のムスメが、「全く音がないより、少しガヤガヤした音があったほうが集中できる」と思ってYOUTUBEで検索したら、たくさんヒットしたらしいですよ。

「レストランガヤ」とか「街ガヤ」とか、いろいろあるようです。

私は、そんなものがYOUTUBEにあるなんて、思いつきもしませんでした。

何でも「ない」と思い込まずに、「ある」と思って探せば、見つかるのかもしれませんね(^-^)


ではでは・・・次回は、福田 多美子がお届けします。お楽しみに♪


*外部サイトへのリンクが切れている場合があります。ご了承ください。

*ご登録は、こちらからお願いいたします。





グリーゼな日々バックナンバー
※掲載されている情報・URLは発行時点のものです。
←グリーゼな日々バックナンバーTOPへ戻る

メールマガジンのご登録はこちらから

このページのトップへ戻る

  • グリーゼの最新セミナー情報グリーゼの最新セミナー情報 »

  • 人気ランキング

    インフォメーション

    サービス一覧