a2iでのコラム連載が最後になるのですが、意外と忘れられがちな、でもデータの分析や活用のために重要な視点をおさらいします。普遍的なことから、これからの時代に即した考え方まで紹介します。

ウェブ行動計測ツールで計測されたデータは、ユーザの行動を100%計測しているわけではない。

ビーコン型、JavaScriptという技術を使っている以上、タイミングなどの問題で欠測が発生することがよくあります。細かく計測設定をしたからといって、それは100%にはなりません。細かい計測にこだわるより、そもそも何のための計測なのか、その先の問題解決・データ活用のために十分なデータがあればいいという姿勢で臨むべきです。

サンプリングされて困る場合、見ようとしていることが本当に重要なのか見直そう

「Googleアナリティクスの無料版はサンプリングが…」という不満や懸念を耳にすることがよくあります。それは本当に重要な懸念なのでしょうか？サンプリングが発生するということは、全体に対して非常に細かい粒度でデータを見ようとしているということです。サンプリングによる揺らぎの程度でレポートから導かれる結果が大きく変わるのであれば、それは不安定なアウトプット、汎化性能がない知見ということになります。

「データがつながる」は幻想

上記のように欠測が発生するということは、1人のユーザの行動を複数のツール間で100%つなげることは不可能だということを意味します。また計測はできるがITPのような原因で個人の識別子がつながらないということもありますし、そもそもPCと携帯電話では同一ユーザを紐づけられるケースのほうが少ないですよね。つなげることが難しい場合、つなげることを諦めることも時には必要です。特にこの観点は、今後のプライバシー重視の社会の流れにおいて重要です。ユーザの許可を得られずデータをつなげることができないケースが多くなることは覚悟しなければなりません。

データを見る目的

データを計測することや連携することが目的ではありません。イシューの解決が問題なのです。そのために十分な粒度のデータが手に入ればいい。細かいことにこだわりすぎても意味はありません。もちろん欠測やデータ分断は少ないに越したことはないので、実装や運用コストとのトレードオフということにはなります。計測やデータ連携の実装に時間をかけすぎてプロジェクト当初の目的や熱意を見失うことがないよう、比較的容易に実装できるところから始めるのもいいでしょう。そして課題を解決するためにどのようにデータを見るべきか、欠測があるなら欠測があるなりに考える。データが分断されているなら分断されているなりに考えるべきです。最も重要なのはそれがどこで発生しているのか。ランダムなのか、バイアスがあるのか。そこに注目することです。

バイアスに着目

欠測があってもバイアスがなければ基本的に問題ありません。もちろん特定の端末や地域で欠測やデータ分断が発生しやすいなど、バイアスがあることは多いのですが、その場合はどんなバイアスが発生しているのかを考えます。そしてバイアスに適した形でイシューを置き換えます。たとえば初回訪問ユーザの傾向を考えるとき、地域によって欠測の発生しやすさが違うことが明らかになったとします。その場合「初回訪問ユーザは…」ではなく「関東地方の初回訪問ユーザは…」と問いを置き換えるのです。特定の傾向で欠測が発生しているのにデータが100%計測できているつもりになって分析することが一番問題で、その分析結果は誤っていると考えた方がいい。そもそも分析のスタート地点が間違うことになります。

以上、複雑な実装も時に必要なこともありますが、「データをつなげて満足」「木を見て森を見ず」に陥らないようにすることが大切です。