【メルマガコラム】ビッグデータには経験を積む覚悟が必要だ

かなり昔の話になりますが、まだアマゾンのレコメンデーションが目新しかったころ、アマゾンの仕組みを聞きつけて、同じ試みにトライした大手ショップがありました。Aの商品を買ったユーザーが同時に買った商品を洗い出し、A商品を購入、閲覧したユーザーに、BやCの商品をすすめる、という仕組みを構築しました。
しかし、このレコメンドはあまりうまく機能しません。ユーザーから見ると、なんでこんな変なものをすすめてくるんだ、と首をかしげたくなる結果が多く出ます。

ローリングストーンズを買ったユーザーにモーニング娘をレコメンドしたり、村上春樹を買った人に金持ち父さん貧乏父さんの本をレコメンドする、という感じです。
「データは実際のデータを入れているんだが」
つまり集めたユーザーの行動データは、期待とは裏腹にランダムな行動をしていたものが多かった、ということのようです。思うような効果が得られず、結果的に、そのプロジェクトは失敗と判断され、継続的な投資は行われませんでした。

実はアマゾンがレコメンドを始めた当初も、同じ問題に行き当たったと記憶しています。アマゾンが変なものをすすめてくる、というので、当時、業界でも話題になりました。しかし、アマゾンはその後、そのレコメンドシステムを、チューニングして、今の安定したサービスにつなげています。
私は、この分野の専門ではありませんが、レコメンデーションといっても奥が深く、他社でうまく行ったロジックを表面的に適用しても、商品もユーザーも違うので、そのままではうまくいきません。ナマデータを扱っても、予測精度は高くならず、精度の向上には、データ状況に合わせたフィルタリングや、検証と改善を繰り返す努力を進めていくことが必要でしょう。

このエピソードから私自身学んだことは、以下の点です。
1) ユーザーの行動データはランダムなものも多く補正が必要
2) 他社と同じ方法を持ってきても、うまくいかないケースが多い。
3) 効果を高めるためにはPDCAを通じた経験が必要

少し古い話が元になっていますが、今のビッグデータの時代にも当てはまる部分があると思います。つまり、長期の投資やPDCAを回し経験を積む覚悟がないならば、ビッグデータから果実を得ることは難しい。
「覚悟」というと「根性」という言葉みたいで、非論理的な態度に聞こえるかもしれません。「なぜビッグデータに取り組むのか」という「WHY（なぜやるのか）」の部分が組織としてぶれていない、ということが大事だ、と言い換えてもいいでしょう。
反対に「WHY（なぜやるか）」の部分が欠けたまま、「WHAT」から入ってしまうと、成果を得るまでの辛抱ができなくなります。アマゾンがレコメンドで成功したからレコメンドをやる、という「WHAT（何をする）」でプロジェクトを進めても、短期で結果が出なければ、失敗を乗り越えて継続する必要性が見いだせません。
そうやって生半可に取り組んで失敗した人たち、あるいはその失敗を聞きつけた人たちから、ビッグデータ不要論のようなものが上がってくるのかもしれません。

今後、ビッグデータやデータの統合といった今までと次元の違うデータへの取り組みは、より現実的な課題として、企業に求められてくると思います。私自身は、その方向性は正しいと考えていますが、よほどしっかり取り組まないと成果は得られないケースも多いでしょう。
ビッグデータに取り組むなら、長期に経験を積んでいく、組織としての覚悟が必要です。今はその覚悟を決める、大きな転換点に来ていると感じています。

★メールマガジンのバックナンバーはこちら