広告運用における仮説検証のレベルアップのために押さえておきたいポイント

運用型広告においては、日々の仮説立案～施策の実行～検証・次の打ち手考察、までのPDCAサイクルを効率的に回すことが肝要です。

しかし、日々の業務が多忙になりがちなWebマーケティング担当者にとって、仮説検証を常に最高のレベルで回し続けることは、時に困難を伴います。

そのような時でも、いくつかのポイントを押さえておけば仮説検証の質をグッと高めることができます。
今回は仮説検証を進める上での土台作りについてお話いたします。

仮説検証の土台作り

どれほどよい仮説であっても検証の方法がよくなければ有意義な結果は導き出せないでしょうし、検証の技法が盤石であっても元となる仮説がズレたものであれば価値を生み出すのは難しいでしょう。

そのため、仮説検証に取り組むにあたっては
「よい仮説であるか」
「よい検証方法であるか」の二軸
において、しっかりと土台を作り上げることが大切です。

よい仮説を立てるために

まずは、運用型広告におけるよい仮説の立て方について考え方をご紹介します。
運用型広告における「仮説」とは、施策を実行するにあたって立てておく「問い」を指します。この立て方が粗ければ検証の質も粗くなってしまいますし、KPI達成に対するアプローチも精度が落ちてしまいます。

そうならないような「仮説＝問い」の立て方としては、次のようなものがあると考えます。

1. 課題に対して焦点の合った問いであること

広告配信の目的であるKPIから考えて、課題は何であるのかをしっかりと整理した上で立てた問いである、というのが一つ目の条件です。
「何となくCVRが下がってきているから……」という漠然とした状況把握からは、「このアクションを取るとCVRが改善するかどうか」という漠然とした問いしか生まれません。
それでも成果改善に寄与することはあるかもしれませんが、「他にもCVRの改善インパクトの大きな施策があるのでは」「CVRがどれほど改善すれば『良い結果になった』と言えるのか」といった疑問に答えうる問いではないでしょう。

広告費や時間といったリソースは無限ではありません。改善インパクトの大きさを考え、施策に優先順位をつけることが必要です。
そのため、まずは課題をしっかりと数値で把握し、それに対する問いを立てるというアプローチが効果的でしょう。

2. 仮説の解像度を高めるために、市場や競合、顧客を掘り下げること

運用型広告においては、つい管理画面上の数値に固執してしまいがちです。しかし広告はユーザーがどう受け取り、動くのかがすべてですので、ユーザーの理解とその周辺環境（市場や競合）の分析も欠かせません。

特に昨今は情勢の移り変わりが激しく、市場や競合、ユーザーの生活様式や行動の変化もめまぐるしい時代です。よい仮説、課題に対する大きな改善インパクトのある施策が管理画面から思い浮かばない場合は、視野をさらに広げて「他にはないか？」と選択肢を常に探り続ける力が重要になるでしょう。

3. 媒体の知識を十分に備えておくこと

広告配信の結果は媒体の機能や特性に大きく左右されるため、媒体に関する知識を十分に備えておくことも不可欠です。

例えば、準顕在層や潜在層向けの検証を行う場合には、検索広告でのキーワード検証よりもディスプレイ広告やSNS広告などの媒体が適しているケースが多いでしょう。
媒体ごとにプレイスメントや広告フォーマット自体が異なるため、特にクリエイティブ面での仮説立てでは媒体から考える必要があります。

さらに、最近ではPinterestのような従来の広告媒体とはやや異なる特徴を持つ媒体も表れています。ただ「その媒体に広告を配信する」という観点だけでなく、「その媒体に広告を配信することで認知形成やブランディングにどのような影響があるか？」「どう扱うことでブランドの成長をより加速させることができるのか？」といった観点を持つと、単なる「運用で成果を改善する」という枠組みを超えた施策が可能になるでしょう。

検証の質を上げるために

また、立てた仮説を実際に検証する際に、その手法が適当なものでは得られたはずの有意義なデータも逃してしまいます。

1. 変数はなるべく1つに絞ること

一度の検証において変数が2つ以上あると、何が結果に影響を与えたのか考察することが難しくなります。そのため、変数はできる限り1つに絞り込んだほうがよいでしょう。

ターゲティングと入札戦略、どちらが改善に与えるインパクトが大きいかわからない。だからといって、両方を同時に変えてテストをするのは避けるべきです。
また、運用の条件によっては変数を1つに絞り込めない場合もあるかと思いますが、そのような場合は複数の変数が影響を与えうる、より大きな括り（キャンペーン単位など）で比較をするとよいでしょう。

変数を極力少なくするためにも、媒体でABテスト機能がある場合は積極的に利用しましょう。（Google、Metaなどで利用可能ですね）

2. 統計的有意差を示すためにも十分なデータ量があるとなおよい

検証の結果として得られるデータ量に関しては、大きいほうが統計的有意差を示しやすくなります。
率で見ると同じであったとしても、元となるデータ量（例えばクリック数対コンバージョン数）が大きければ大きいほど、どちらの結果が優れていたのか、統計的な有意差が付きやすいです。

以下の画像は、ABテスト結果がそれぞれ同じCVRであっても、クリック数やコンバージョン数が大きければ大きいほどp値が小さくなり、統計的に有意である（テスト結果が信用できる）ことを示す一例です。

とはいえ、十分な母数や検証期間が得られないこともあるでしょう。そのようなとき、必ずしも統計的な有意差が出ていないからといって、その結果が無為なものとも限りません。
仮に統計的な有意差がなかったとしても、何らかの傾向が見られるのであれば、それを活かした次の仮説を立てられます。その際には、より有意差を判断しやすい検証環境を整えればよいでしょう。

3. データの切り口を複数持つこと

検証の結果を踏まえたうえで、そのデータを「どう分析し、解釈するのか」はマーケター一人ひとりに委ねられています。
帰納法や演繹法といったロジカルシンキングを用いて情報を解釈していく力が求められますが、その際に意識するとよいのが「データの切り口を複数持つ」という点です。

例えば「お得」と「便利」という2つの訴求軸でクリエイティブテストを行ったとして、「お得」訴求の結果が勝っていたとしましょう。
「お得訴求が効果的だ」という判断になるかと思いますが、そこで「なぜお得訴求が効果的だったのか？」という視点をもち、その要因をさらに深掘りしてみましょう。すると、「これまで競合で行っていた値引きキャンペーンが終了しており、相対的にこれまでより自社がお得に見えていた」というデータを得られることがあります。
このとき、「お得訴求は競合がキャンペーンをやっていない今だからこそ効果的だったかもしれない」という解釈も生じるかもしれません。そうなれば、継続してお得訴求を続けるのか、それとも競合の新しいキャンペーンに備えてその他に訴求できるポイントを探すのか、という選択肢が生まれます。

結果から得られた数値にだけフォーカスするのではなく、市場や競合といった3C分析の視点を取り入れたり、データを曜日や時間帯、性別・年齢などで分解して見ることによっても、また違った解釈を生み出せることがあるでしょう。
媒体の自動化の進展が目覚ましい昨今、データをどう解釈するのかで生み出せるバリューにこそ、私たち人間が介在する価値があるように思います。

仮説検証の精度を上げてよりよい広告運用を

今回はPDCAの質を向上させるためのポイントを、仮説と検証の二軸でご紹介しました。

幅広い視点で事実を観察し、仮説を立てること。
正しい検証方法を通して、有意義な情報を得ること。
得られた情報を解釈して、さらなるバリューを生み出すこと。

素早いPDCAが求められるWebマーケティング業界だからこそ、おざなりな施策を続けるのではなく、これらの点を意識して日々の業務に取り組みたいですね。