今年一番の記事です。年末年始はたくさんの記事や情報がネット上に溢れます。
ただ、それらの情報を鵜呑みにしてしまうことは、やはりマーケターとしては、そもそも情報収集の際の態度としては避けておくべきものです。なぜなら、全ての情報には、その情報を裏で支えている「文脈」であったり「背景」であったり「環境」であったりと、さまざまな要因が大きな影響を及ぼしているからです。
なので、どんなにすごい人や大きい会社が行ったことであっても、鵜呑みをせずにきちんと自分の中で一旦消化してその上で活用することを、おすすめしたいなと思います。これは国内も海外も同じです（むしろ海外のほうが玉石混淆のレベルが上がっているように思う）
そんな中、MarketingLandにて、デジタルマーケティング（≒オンラインマーケティング）」におけるケーススタディを読み込む時に注意すべきポイントの記事が上がっていました。これが共感できたのでご紹介します。
もちろんこの記事も鵜呑みにせずに、一度消化して、納得できるところだけ使ってみてください。
元記事はこちらです。
→ 9 Questions To Ask When Reading A Digital Marketing Case Study :
https://marketingland.com/9-questions-to-ask-when-reading-a-digital-marketing-case-study-69132
それぞれの項目について、かいつまんで書いていきます。この注釈は当ブログでつけているものです。元記事もぜひご覧ください。
また、元記事では９つの項目になっていますが、一緒にしてしまったほうが分かりやすいものもあるので今回は「８個」としてご紹介します。
- 1.ビジネスモデルやKPIは私のと同じか、あるいは少なくとも、似ているものだろうか？
- 2.その事例の記事が書かれた時はいつだろう？それは今でも通用するものだろうか？
- 3.その事例の中で出てくるノウハウは、同時期にテストされたものか？バラバラか？
- 4.何かを行って改善したという場合、その「何か」が改善に寄与したと判断したサンプル数は十分にあるか？
- 5.どのくらいテストは行われたのか？どのくらいの期間の結果が比較に使われたのか？
- 6.変数となっているものは何なのか？（必要な物だけになっているか？）
- 7.明記されていない他に変化した指標はないか
- 8.この効果が短期的・一時的なものではなくある程度きちんと続くものなのかどうか
- 終わりに
1.ビジネスモデルやKPIは私のと同じか、あるいは少なくとも、似ているものだろうか？
これは、もっとも重要かもしれません。
成功するしないは「ドライバーで木ねじをいかに綺麗に押し込めるか」みたいなもので、
- 木ねじのサイズや材質ははどれくらいなのか？（ターゲット）
- 使おうとしているドライバーの太さや材質は何なのか？（自社資産）
- ねじ込もうとしているものはなんなのか？（商品・サービス）
- ねじ込もうとしている人はどれだけ熟練しているのか？（人的資産・パートナー）
などなど、これらが違うだけで、最適なネジ込み方は全然違ってきます。
しかし、事例などを見たり、あるいは悪い言い方をすれば「偉い人」「有名な人」が言っていることだと、それがそのまま丸で万人に通用するような、あるいは「そういう方向で成功すべき」ものなのだ、失敗したら自分が「足りなかったから」なのだ、と思ってしまいがちです。
しかしビジネス環境は千差万別です。また、どんな情報も必ずコンテキスト（文脈）があります。それを考えた上で、今使えるもの、やるべきだと思うものをやっていくことをお勧めします。
2.その事例の記事が書かれた時はいつだろう？それは今でも通用するものだろうか？
最近は情報の発信媒体の中心がブログになってきたので、これはありがたいなと思います。なぜなら、大概の場合日付が分かるからです。公開された日付がブログの場合普通は出るからです。
また、Googleでは検索ツールにて、情報の初の出時期で絞り込みが可能です。以下の所から絞り込めます。
これは非常に大事です。特にWEB周りは変化が激しい。SEOやソーシャルなどは本当にそうです。
私の場合、デフォルト１年以内で調べています。テクノロジー系は昔の記事はあまり参考にできません。
言い方を変えると情報発信社は、そういう情報は定期的に見なおして、時間がたっても価値のある記事に書き換えていくことが必要だとも言えます。最初からエバーグリーンコンテンツを作るのもいいのですが、後で、エバーグリーン化させるのも大切ですね（と言う私が全然出来ていないのですが）
3.その事例の中で出てくるノウハウは、同時期にテストされたものか？バラバラか？
これは、◯◯をするとCTRが改善するー、◯◯をすると検索順位が上がるーといったようなノウハウについてです。それがそもそも検証されているのかどうか、というのが最も大事です。
そしてその上で、検証が同時期になされたのか（いわゆるA/Bテストの様に）あるいは、１つやってその後もうひとつやる（シーケンシャルテスト）だったのか、これは大事です。
なぜなら、時期の違いに寄る要因は無視できないほど大きいからです。ただでさえ、WEB上でのスプリットテストは、統計学的に有意と言われるまで行おうとするとかなりの数が必要です。ノイズが乗ればこれはもっとブレる可能性が大きくなります。
とは言えノウハウの中には「特に比較したわけではないけれども経験的に、恐らくこれは効果があるんじゃないかな」というものも少なくありません。そういったものも、もちろん価値があります。経験論というのはとても大事です。
危険なのは、経験論を、きちんとテストをして検証された内容だと無意識に捉えてしまって、自分の中で検証することを忘れてしまうことです。
4.何かを行って改善したという場合、その「何か」が改善に寄与したと判断したサンプル数は十分にあるか？
これは３番の中でも少し出てきたのですが、平たく言えば統計的有意性の話です。厳密に行うとなかなか大変なのですがとはいえ、例えば１００や２００程度のアクセスで良し悪しを判断していくというのは、あまりに早計過ぎます。
いくら改善の速度を上げたいからといって、サンプル数を少なくして改善の速度だけをがむしゃらに上げても、間違った方向にただただ進んでいくだけかもしれません。
参考にする事例も、本当にこの事例ででてくる調査というのは、きちんとそれなりのサンプル数で行われたものなのかなということは、常に探す習慣をつけておくと、いいのではないかなと思います。
5.どのくらいテストは行われたのか？どのくらいの期間の結果が比較に使われたのか？
これは４番と同じですね。ただ、大事なのは「期間」です。
短すぎるのも問題ですが、あまりに長いと、それ自体が結果に影響する可能性があります。例えばPPC広告などのテストなら、長くやれば同じ広告を見ている人はどんどん増えていきます。
それが結果に影響する可能性があるようなものなら、短期間に、フリークエンシーキャップを抑え目でテストする必要がありますよね。
根本的に大事なのは「テストの結果が出来るだけノイジーにならないように、設計されているかな？」という目で見ることです。
6.変数となっているものは何なのか？（必要な物だけになっているか？）
これは、事例の中で「◯◯をしたらCVRが改善した！」と言う場合に、◯◯以外の所で変わっている部分はないかな？ということを、ちゃんとチェックしようということです。
これは意外と情報提供側も気づいていないことが多く、例えば「◯◯というレイアウトにするために、アタリマエのこととして、△△のサイズを小さくした」といった無意識の変更を入れてしまい、実はそれが問題だった、なんていうケースがあります。
多変量解析をするなら、そのつもりでテストは組むべきですし、そうではないスプリットテストなら、それ以外の要素を極力変えないように設計することが大事ですよね（これはやる立場としても注意すべき問題ですね）
7.明記されていない他に変化した指標はないか
これはどういうことかというと、元記事でも書かれているのですが「CTRが改善したらCPAが悪化した」なんていうことが起こっていないか？ということです。で、大概、ひとつの指標を直すと、どこかしら反動で悪化するものです。
そういったある意味「悪い情報」がきちんと明記されているかは大事です。とはいえなかなかこういったところは特に企業が公式に出す情報としては出てきませんので、こちらから聞いていく、調べていく必要はあると思いますが…。
ちなみに、そもそもですが
バーターになる、反動がある、これはそういうものです。例えば、サイトを特定ターゲットに絞り込む、そうすればCVRは高まるはずですが、直帰率やそもそもの集客数は減るはずです。
大事なのは「全体最適」です。限界に設定したCPAの中でいかに少しでもたくさんのCVを得る、言い換えると機械損失を減らすかです。CPAを３万円と決めて、CPAが２万円で喜んでいてはいけない、３万円を超えない範囲でよりたくさんのCVを取れるようにもっと拡大していく必要があるわけです。
8.この効果が短期的・一時的なものではなくある程度きちんと続くものなのかどうか
この辺りも何らかの言及がされている事例やケーススタディなら、それはとても素晴らしいものです。そのような情報を公開してくれる企業に頭が上がりません。
なんでもそうですが短期的に上げることは比較的楽です。しかし、それがそのまま続いていくかどうかというのはちょっと別の話です。
一言でいえば「仕組み」になっているかどうか。
仕組みになっていれば、中長期的にその改善結果は効果を表し続けるでしょう。しかし、目の前の草を取り敢えず効率的に刈り取っただけ、などなら、恐らく２〜３ヶ月程度で効果はなくなってしまいます。ただの需要の先取りをしているだけだからです。
他社事例についても、それがいったいどっちなのか。そして、短期刈取り型なのなら、それを行うべきなのかという点もきちんと考えることをお勧めします。可能なら「仕組み」にして、中長期的に効果のあるものにできないかもぜひ考えてみてください。
終わりに
実際、この８項目をきちんと押さえている事例というのは、なかなかないと思います。しかし、だからといって、考えなくていいわけではないですよね。事例というのは生々しいために、なんとなく鵜呑みにしてしまいがちなもの。しかしそれが落とし穴です。
「知り合いの会社がさ、ホームページ作ったら注文がたくさん来るようになったから、うちも作ろうよ」と同じ危険性を秘めています。
情報がたくさんあってなかなかきちんと読み込むのは大変かもしれませんが、ぜひこういったことを考えて、読み込んでみてはいかがでしょうか。
中小企業・小規模事業者の方々に向けて、ウェブの活用やホームページの戦略などについてWebコンサルティング、施策代行実施などを行っている、株式会社ラウンドナップ代表取締役の中山陽平です。中小企業のWeb活用をサポートし、そこからの反響獲得を実現させています。→プロフィール詳細はこちらから
