【メルマガコラム】思いついた仮説と都合の良いデータに気をつけよう

年明け、会社の同僚とある記事について会話をしました。それは楽天のモバイルサイトがヤバイくらい遅いという記事でした。TwitterやFacebook で取り上げられて話題だったので、皆さんも覚えているかもしれません。その記事の根拠となっている速度についてのデータが怪しい、という指摘でした。記事の趣旨はだいたいこんな骨子でした（コラム最後にリンクがあります）。

1. スマフォの伸びがすごい　PCのアクセスが下がっている （ネットの視聴率調査）
2. スマフォに最適化することはとても大事（そのとおり！）
3. 実は楽天はスマフォですごく遅い　ツールで測ると 50秒かかっても読み込まない
4. アマゾンは速いけど、楽天はヤバイくらい遅い。なので楽天はこれからヤバイ

しかし、この記事が問題なのは、スピード計測にWindowsのエミュレーターソフト Keynote MITEを使ったことでした。測定結果は、ツールのせいで遅くなった疑いがあります。

そのことに疑問を持った別の人が、実際のスマフォで測った検証結果を出してきました。実際にキャッシュをクリアしてスマフォで測れば、楽天のサイトは遅いどころか、速かったのです。（こちらの記事もコラム最後にリンクがあります）。

「スマホ先進国のアメリカと比較して、日本のサイトはどれも遅めです」という記事の結論とは違って、ZOZOTOWNのサイトに至っては、アマゾンを超えて快速でした。私自身も キャッシュを消して、WiFi をオフにしたり、いくつかのケースで測ってみましたが、同様の結果です。

もちろん、検証を怠った元記事には、問題がありますが、こういったことはデータ分析の世界でも起こりがちだな、と私は思います。自分もこれまで似た間違いを起こしてきた、と思うと胸のあたりがチクチクと痛みます。

データ分析の世界では、「仮説」を立てることが大事だ、と繰り返し言われています。まったく正しいのですが、思いついた自分の仮説に酔ってしまわないように、気をつけることが大切だと思います。

少し具体的な例を上げてみましょう。最近はアプリなどモバイルの事例を見聞きする機会が増えてきました。アプリのような目新しい仕組みを導入すると、「きっと新規ユーザーが増える」という思い込みをしがちです。

実際にメディアなどでアプリがとりあげられ、ダウンロード数が急激に増えると、そこから「思惑通り新規顧客のダウンロード数が増えました」という報告をしてしまいます。

しかし、アプリのダウンロード数を示すツールの訪問データが「新規」だとしても、実際にダウンロードした人たちの実態は、実店舗やオンラインストアの既存顧客かもしれません。また、ダウンロードが増えても、ビジネス貢献度で見ると既存顧客の割合が圧倒的に高い、ということもあるでしょう。

最初のデータでは、アプリは新規顧客の獲得が目的でも、さらにもう一歩深く検証したデータでは、アプリは既存顧客との関係を深める役割に適している、という180度違った結論になってきます。

自分の仮説に疑いを持つ姿勢があれば、いくつか検証する方法はあったはずですが、「自分の仮説とドンピシャ !」という快感が、客観的な思考を妨げてしまいます。やっかいなことに、思い込んで夢中になっていると、なぜかその人のためにデータが用意されて、ロジックが全部つながって見えてしまう、ということが起こります。そして、人間どうも、この状態から抜け出すのは、容易ではないようです。

できれば自分の仮説に対して、客観的な他者の視点が持てるよう、一度時間を置くことも大事でしょう。最低限やるべきことは、別の方法を検証してみることでしょう。

そして最後に、ぶっちゃけこういう間違いは、私にも皆さんにも起こると思います。間違いを指摘された時やそれに気づいた時は、落ち込むでしょうが、失敗もまた、大切な経験ですので、早めに切り替えることも大切です。

[ 参考記事 ]
楽天がこれからヤバイ!! もうひとつの理由をKeynote MITEで証明してみましたよ

楽天スマホ用ページのロードが遅いといっている人がいるがAmazonと同等。Zozoはちょっぱや。

★メールマガジンのバックナンバーはこちら