◆データの民主化とソフトウェア

昨今「データの民主化」という言葉を聞くようになり、事業の大小を問わず、誰もがデータを活用できるようになってきたと言われます。
ただ実際には以下の要素が揃わないとデータの活用というわけにはいきません。

1. データを計測し、蓄積するインフラ（ハードウェアとソフトウェア）
2. データを分析するインフラ
3. 担う人

1は意外と手に入りやすく、既存のソリューションを使えば比較的簡単にデータは計測、蓄積されるようになってきています。ウェブ解析でいえばGoogleアナリティクスがまさにそうでしょう。その他にもいろいろなツールが現れ、データの計測ができます。
そしてデータを蓄積するデータベースも飛躍的にコストが下がりました。

ところが2と3を同時に満たすのはなかなか難しいところであったりするのが現状です。

2のデータを分析する環境というのはSQLであったりRやPythonといったプログラミング言語を使うのが代表的でしょうか、あるいはTableauやSPSSなどのデータ分析に特化されたGUIのソフトウェアを使うものもあります。

プログラミング言語を使うものは無料（オープンソース）や低価格のクラウドで使えるものが今やメインです。かつてはこのあたりもSやMATLABなど、有料のものが中心でした。ただ最近ではオープンソースの台頭でこの部分のコストは飛躍的に下がったと言えます。

データ分析に特化されたGUIソフトウェアは、Excelのようにいま目の前にあるデータに対して集計したり回帰分析などの手法をかけるものと、データクリーニングなどの前処理から複数の分析手法を同時に実行してパフォーマンスを比較するなど複数のステップからなる手続き全体を組めるものの、2タイプがあります。

3は基本的なデータの正しい見方がわかり、分析手法を知っている、分析手法の調べ方を知っているというところは必須ですが、それを実践するとなると2を扱えることが求められます。つまり2によって変わってくるのです。

このような中で一般的な企業や人が2と3でどのような選択をすればいいのでしょうか。

◆データ分析にプログラミングは必要なのか

プログラミングは難しいもので、誰もが書けるわけではないですし、誰にもお勧めできるものではありません。データ分析的な頭脳とは異なる技術的なハードルの高さがあるのは事実です。

データ分析的な頭脳というのは、数字の関係を見る、変数の扱いを考える、分析手法の特徴を知った上で正しく使うなど、主に数字を見るというところになります。

プログラミングで使う脳というのは、たとえばデータを複製するなどの概念的には簡単なはずの一つ一つのステップを、プログラミング言語というテキストの命令文で実装していく。やりたいことを実現する関数を探す、それができないならそれに近いものを探してロジックを追加する。その中で発生するさまざまなエラーに対応する。プログラムの些細な不具合を自力で解決することが求められます。想定外の挙動に時間が取られる（ハマる）ことも多いです。それはデータ分析とは違う頭の使い方ですよね。

データ分析者にそれを求めるのは時間の無駄だと私は考えています。習熟すればある程度マシにはなるかもしれないのですが、そこまでにデータ分析者の時間を使うのがやはり無駄です。
SQLとかRとか、そういうものがあるという知識を持っておけば十分で、強いていうならSQLは使えると便利かな、といった程度です。SQLはやるべきことが限定されている分、比較的シンプルに使える上、データ分析用のソフトウェアが苦手とする大量のデータを集計する機能が高速でできます。

ただSQLを勉強する場合、中途半端なレベルでは無意味です。ある程度の集計はTableauなどの集計系のソフトウェアで簡単にできます。ある程度高度な分析、特に今後重要となるユーザ単位の分析を行う場合には、SQLの中でももっとも高度なウィンドウ関数まで使いこなせるようにならないと意味がありません。
つまりそこまでマスターしないのであればSQLは勉強しても無駄です。

RやSQLを使えるようにすることより、簡単に分析できるソフトウェアを探し、使えるようにすることが重要です。
RやSQLは、それでないとできないことをするのにやればいいし、専門家がやればいいものです。そして専門家になりたい人は時間をかけて勉強したら、頑張っただけの得るものはあります。
ただ一般的な企業や人にそれを求めるのは酷で、むしろある程度習熟したプログラマーがデータ分析の世界に入ってくる、そこでRやデータ分析手法を勉強する方が効率的ではあると思います。

たとえばいまExcelを使って分析している人がステップアップするとき、（求められているアウトプットにもよりますが）そこからSQLを勉強するよりは、TableauやSPSSなどのデータ分析用ソフトウェアを勉強するのが近道だということです。たしかにそういったソフトウェアはそこそこ高価ではありますが、時間生産性を考慮すればペイしやすいでしょう。企業もそのように投資判断をしていくべきなのです。

そんな中、オープンソースなのにそこそこの手法を扱えて、データの前処理や分析のワークフローまで扱えるツールがあるのですが、これについては次回のコラムで紹介したいと思います。