コラムバックナンバー

■「測定できなければ管理できないというのは間違いで、代償の大きい誤解だ」

誤って引用されるフレーズに「測定できなければ管理できない」というものがあります。正確にはまったく反対の意味で、「測定できなければ管理できないというのは間違いで、代償の大きい誤解だ」というもの。戦後の日本企業の発展にも大きく貢献したW・エドワーズ・デミングによる言葉です。

計測してそれを管理、評価することは非常に重要である一方で、計測できないが管理すべきものも多くあり、それらの混在した中で決断を下さなければならない場面は多い、ということだと理解しています。

デジタルマーケティングは計測できるものが多い領域と言われます。土台がデジタルだからというのがわかりやすい理由かもしれません。どれだけコストをかけてどれだけ表示され、どれだけクリックが発生し、そこからどれだけ成果に至ったかを計測できます。

しかし勘違いしてはいけません。デジタルマーケティングだからといって、あらゆるものを計測できるわけではありません。計測しているのは一部です。計測は正確ではなかったり、実は計測に値しないものだったり、本来知りたいこととは無関係だったり、誤解を生みやすいものだったりします。インターネットの黎明期からアクセス解析の分野が存在していたため、あらゆるものを計測できる、把握できると勘違いしている人もいるかもしれません。

近年、「デジタルだから計測しやすい」という前提も崩れています。計測できていたが計測できなくなったり、制限が設けられたりしています。計測できなくなったものに対して、少し意識をしながら取り組む機会が増えたとも言えます。

■計測できるものだけで具体化したものを過度に強調しないこと

本来、人の行動はさまざまな要素の組み合わせです。「ページビュー」は「読まれた」ではなく、「フォロワー」は「ファン」ではなく、RTをはじめとした「エンゲージメント」は必ずしも「ポジティブ反応」ではありません。

例えばページのブラウザースクロール量を「読了率」と呼んでいることがあります。しかし多くの場合、計測しているのはページのスクロール量です。ユーザーが文字通りページを「読了」したかどうかはその計測からはわかりません。「読了」を把握したつもりになってはいけませんし、「読了率」の指標を一人歩きさせてもいけません。

「デジタルだから計測しやすい」は、裏を返せば「単に計測しやすいもの、計測できるものを具体化しただけ」とも言えます。それらを過度に強調したり都合良く解釈したりしてはいけません。操作や行動の一部を計測することはできても、何に心を動かされたかなどの無形の要素は簡単には定量化できないのです。

私たちはもっと冷静に、何を計測し何を計測していないのか、何を把握していて把握していない領域はどれか、を理解しなければいけませんね(もちろん何を把握すべきか、も)。手っ取り早く計測できたものだけで全貌を把握したと誤解し、結果を単純化して不確定要素を剥ぎ取り、不用意に強調した上澄みで一見もっともらしい評価を下すといった過ちは、今後減らさなければいけません。

プロセスや物事は複雑なはずなのに、手っ取り早く計測できるものだけで判断しないこと。そこからのスタート。

『測りすぎ』という書籍を読みました(ジェリー・Z・ミュラー著)。上記のような話だけでなく、計測を評価に用いる際にいかにして私たちはデータを改ざんし基準をゆがめ、評価につながらない行動をしなくなるか、また機能していない評価のために無駄に計測に明け暮れるようになるか、といった「データ計測による評価の負の側面」をまとめた書籍です。私たちの取り組みの(あまり見たくない)一側面への警鐘でもあり、胸を痛めながら読みました。ご興味ある人はどうぞ。

『測りすぎ-なぜパフォーマンス評価は失敗するのか?』
https://www.amazon.co.jp/dp/4622087936

コラム担当スタッフ

いちしま 泰樹

株式会社真摯
代表取締役
真摯のブログ
makitani.com

外食チェーンストア、百貨店、Web制作会社(株式会社TAM、デジパ株式会社)、インターネット広告代理店(株式会社アイレップ)を経て独立。2010年にCinciを設立し、のち株式会社真摯として法人化。

マーケティング視点と分析データの根拠を元に、クライアントのデジタル領域のビジネス改善を支援している。a2iセミナー編成委員会。

著書に『Google アナリティクス 実践Webサイト分析入門』(インプレス)。

一つ前のページに戻る

a2i セミナー風景イメージ

あなたも参加しませんか?

「アナリティクス アソシエーション」は、アナリティクスに取り組む皆さまの活躍をサポートします。会員登録いただいた方には、セミナー・イベント情報や業界の関連ニュースをいち早くお届けしています。

セミナー・イベント予定

予定一覧へ

コラムバックナンバー

  • 【コラム】注目される統計的因果推論

    株式会社Rejoui 菅 由紀子
    発信元:メールマガジン2021年10月20日号より

    先日発表されたノーベル経済学賞の受賞者、デービッド・カード、ヨシュア・アングリスト、グイド・インベンスの3氏は「自然実験が知識の源泉となるこ …

  • 【コラム】計測できるものだけで都合良く評価していないか?

    株式会社真摯 いちしま 泰樹
    発信元:メールマガジン2021年10月13日号より

    ■「測定できなければ管理できないというのは間違いで、代償の大きい誤解だ」 誤って引用されるフレーズに「測定できなければ管理できない」というも …

  • 【コラム】ABテストの科学

    Option合同会社 柳井 隆道
    発信元:メールマガジン2021年10月6日号より

    ABテストをするとき 「施策AとBを比較した結果、施策AのほうがCVR(目的の指標)が高いので優れていると判断した」 そこで思考が終わってい …

バックナンバー一覧へ