初めましてのかたも、二度目まして以上のかたもこんにちは、Yuwai株式会社の田中と申します。

運用型広告のコンサルティングを主とし、事業主のインハウス支援や広告代理店に所属する運用者の育成のお手伝いなどをしています。2023年4月からa2iのセミナー編成委員としてお手伝いしておりまして、今回初めてコラムを執筆します。

この後の文章、Chat-GPT などに校正させた上でお伝えした方が端的で読みやすくなるのは間違いないですが、私が心を込めて書いたよと言う意味合いも込めてくどいままになっています。よって文章が長くなりますが、これも田中節としてお受け取りください。

「測りすぎ」をテーマにしたセミナー企画へのチャレンジ

2024年3月にジェリー・Z・ミュラー著の「測りすぎ――なぜパフォーマンス評価は失敗するのか?」という書籍を参照したセミナーを企画し実施しました。
▼【活動報告】オンラインセミナー「なぜ私たちは自ら生み出したKPIに追われるのか？」｜2024/3/14(木)

後日、a2i代表の大内さんがメルマガにてセミナーの総括をしてくださっていますが、a2iとして提供するセミナーのテーマとしては「きちっと計測環境を整備してデータを蓄積し、分析して顧客像を理解しよう」といった内容がふさわしいのですが、そこに「測りすぎ！」というテーマを持っていったのですからこれはある種の事件です。

私は運用型広告の分野で様々な支援をしている立場でもあるので、方々から批判的なご意見を多く頂いてしまうのではないかと思いながらも、プライバシー保護が年々強化される中でありとあらゆるデータが見えなくなっていく事をふまえると、今回のセミナーでお伝えしたことは理解しておいた方が良いと思い行動に移しました。

計測はデータ分析の流れの一部であり、データ分析は課題の把握から仮説立案または検証の流れの一部です。この流れを俯瞰してみたとき、測定ばかりに執着してもデータは課題を解決しません。解決するのは人間です。だから、測りすぎる事によるデメリット、そうならないようにするためのデータ分析とは？と言う点にフォーカスしました。

書籍を読んで頂けると分かるのですが「測りすぎ」は「もう測るな！」という事が結論になっているのではなく、数値評価が有害なパフォーマンスをもたらす事例がしばしばある事に対して警鐘を鳴らし、どのような場合に測定基準を用いるか再考するという内容になっています。

物差しを手に入れると、すべてのものを測定したくなる症候群

測定が好まれる理由としては、物事を定量的に評価できる、定量で評価できれば何かの施策を行った前後比較も行いやすいというメリットがある点です。そしてシンプルで分かりやすい。だから、計測技術が発展すればするほど測れるものは測りたくなる症候群に陥ります。

前述のセミナーでは、データの分析を行うにはデータの収集よりも先に「問い」を立てることが重要というお話がありました。「問い」を誤ることで「筋の良い仮説」も間違えば「意思決定」も間違いかねません。

この症候群は、任務から戻った戦闘機が受けた損傷のデータから、最も損傷が多かった部位の装甲を強化するよう推奨した、がしかし撃墜された戦闘機からはデータが取得できないため、問題に対して誤った意思決定をしてしまったという生存者バイアスと言えるかもしれません。

物差しを手に入れると、すべてのものを測定した上でデータを眺め、そこから仮説を立てるということを行いたくなりますが、「問い」無き状況下ではデータ分析から正しい意思決定ができない可能性をはらんでいます。ここはグッと堪え「分析を通じてどのような意思決定をしたいのか」の問いを立ててみることが重要です。

測定を行うときに気をつけておきたいこと

「問い」を立てることが先ではあるものの、仮説の立案や仮説の検証を行う段階では、どうしても測定を行うことが必要になります。書籍「測りすぎ」では実績測定を成功させる為のチェックリストが紹介されているので、項目だけとなりますが書籍から引用する形で紹介します。何かを測ろうとするときの参考にしてみてください。

• どういう種類の情報を測定しようと思っているのか？
• 情報はどのくらい有益なのか？
• 測定を増やすことはどれほど有益か？
• 標準化された測定に依存しないことで生じるコストはどんなものか？
• 測定はどのような目的のために使われるのか、言い換えるなら、その情報は誰に公開されるのか？
• 測定実績を得る際にかかるコストは？
• 組織のトップがなぜ実績測定を求めているのかきいてみる。
• 実績の測定方法は誰が、どのようにして開発したのか？
• もっともすぐれた測定でさえ、汚職や目標のずれを生む恐れがあることを覚えておく。
• ときには、何が可能かの限界を認識することが、叡智の始まりとなる場合もある。

どんぶり勘定の再考

何かを測定することに対し、どれだけ事前に色々と物事を考慮した上ですすめても、プライバシー保護の強化によって測定できるデータは分断化され、何かを取得したとしても何かは抜け落ちている状況、つまり断片化の進行は免れません。何かを測定した時点で何かが抜け落ちている、測れるものしか測る事ができない、無いものは無いという事実は強く肝に銘じておきたいものです。分からない物を分からないと認識したい。

運用型広告の分野でも、プライバシー保護やCookie制限などによりコンバージョンの計測に欠落が生じたり、ターゲティングが難しくなるという事が生じています。Google 広告の検索広告に至ってはプライバシーを害するような検索語句はレポートで確認することができません。真理は Google のみぞ知るというケースも多くなってきました。なので、広告のレポートひとつとっても全体の事象の一部は欠けた状態で提供されています。コンバージョンのデータだってリアルのものだけではなく推定が含まれるので、マーケターとしては何を信じて良いのか分からない状態です。

さらにいえば、運用型広告を利用している企業の多くは、Google 広告だけではなくYahoo! 広告や Microsoft 広告、LINE 広告、Meta の Facebook 広告、Instagram 広告など複数の媒体を利用しています。なので、コンバージョンまでに複数の媒体の広告をクリックしていれば、1件のコンバージョンに対してそれまで接触してきた広告にもコンバージョンがカウントされます。そのため、実際のコンバージョンに対してカウントが重複しますが、複数媒体を使っていれば避けられない事象ですし、GA4を使って評価したとしても、GA4のデータを加味した運用ができるのは Google 広告のみです。

すると、GA4で計測したデータからアトリビューションを見いだして、ダイナミックに広告予算の配分を変える事を考えつきますが、現在の運用型広告は自動入札機能を使うことが主流であり、媒体間のアトリビューションを加味したコントロールなどは人の手では到底できません。

何が言いたいのかというと、計測できないものやコントロールが難しいものに対して、なんとか計測したりコントロールするのではなく「各広告媒体のレポート上でコンバージョンや売上が最大化されれば結果的に実際のコンバージョンや売上も最大化するだろう」という仮説の下で、いくら広告費を使っていくら儲かったか？というシンプルなどんぶり勘定で見ても良いのではないか？ということです。これは明確に「測りすぎない」という考えです。

実際、私が支援している事業者さまは GA4 のデータをそこまで重視せず、ショッピングカートである Shopify のレポートをメインとし、広告費をいくら使っていくら儲かったかで見ています。それもあってか、各広告媒体のレポート上でもっと売上を上げるにはどうしたらよいか？というシンプルな視点で見ることができるので PDCA が上手く回っています。

これが正解であるとは思いませんが、コントロールできない問題に時間や工数を割くよりも、ある程度割り切り、どんぶり勘定ですすめることの方が良い感じになるケースが多いと個人的には感じています。

まとまりのない長文になってしまった気がしますが、測ることが決して悪い事ではないものの、「問い無き測定は難破」しますし、測れないものを測ろうと労力を掛けるならば思い切って「測らない」という選択肢もあるということをここでお伝えしたかったです。

誰かに対して何か答えを提示できるものではないですが、誰かに対して思考整理のための羅針盤のような物になっていれば嬉しいです。