コラムバックナンバー
Option合同会社 柳井 隆道
発信元:メールマガジン2019年3月13日号より
データを扱う仕事の中で、データに基づいて将来の数値を予測することはよくあります。その際過去のデータに基づいて予測を行うわけですが、過去データの扱い方で気を付けなければならないことを紹介します。
1. データに不備がある
データの誤りは気づきやすいのですが、意外と盲点になるのがデータが一部欠損している(行が欠損している)ケースです。
人間が入力しているデータで、気まぐれで入力されていないケースもありますし、入力しないインセンティブ(不利な結果を入力すると担当者の評価が下がるなど)がはたらいているケースもあります。
またわれわれ分析者は分析用データの抽出を依頼することもあるわけですが、データ抽出条件の誤りにより特定の条件に当てはまるデータだけが抜け落ちるなどのケースもあります。
欠損がランダムに発生する場合は悪影響は小さいのですが、このような場合は欠損の発生に偏り(特定の条件でデータが欠損する)があるため、その後の分析に悪影響を及ぼします。
2. 前提条件が変わる
過去どのくらいの期間のデータに基づいて予測をすればいいのでしょうか。
これをよく感じるのは競馬です。過去のデータから勝ち馬を予想する人は多いものです。昔からのデータから示すとおり長期休養明けは不利だとか、テン乗り(それまで騎乗したことのない騎手に乗り替わる)は不利だとか、よく言われています。たしかに馬が走るための調整が不十分だったり、騎手が馬の特徴を知らなかったりするなど、このデータをサポートする理論はあるのです。
しかし直近では休養中もトレーニングを積む設備ができ、調整が十分にできるようになった。また日本人より騎乗技術が圧倒的に優れている外国人騎手が多く乗るようになったことで、そのような条件でも勝つケースが多くなっています。つまりデータに反する結果がよく現れるようになってきているのです。
過去のデータの前提になっている環境が今では崩れてきている。だから過去のデータを使って予想すること自体がナンセンスになっているわけです。
データといっても直近のデータしか意味をなさないわけですが、競馬の場合は同条件のサンプルサイズ(行われたレースの数)が小さすぎて予想に不足するので、結局データが役に立つとは言いにくいのです。
私もデータを仕事としているわけですが、競馬で過去のデータばかり主張する人はセンスが悪いと思うわけです。
環境が変わることで過去のデータが役に立たなくなる例は実際のビジネスの世界でもあるわけで、現在の環境が有効となるデータの期間にも気を使う必要があります。
3. 1回しか発生したことのないイベントが要因になっている
データの期間中、1回しか起こらなかったイベントが目的変数に影響を及ぼす場合の扱いです。
たとえばB2C分野での今年の売上を予測する場合、消費税増税の影響は免れないでしょう。ではその影響の大きさはどの程度なのでしょうか。その大きさを見積もれないと売上の精度の高い予測はできません。
ところが過去のデータでその影響の大きさがわかるのは2014年のデータだけで、その1回を根拠に影響の大きさを見積もる必要があるわけです。影響の大きさを算出する根拠がたった1回のデータなのです。
過去のデータで何度か発生するイベントはその影響の大きさを見積もることはできますが、一度しか発生しなかったものを根拠にせざるを得ないというのは苦しいですよね。
ところがデータにはこういった事象もつきものなのです。
どんなにイケてるアルゴリズムを使ったところで、分析・予測のアルゴリズムはデータを反映するものでしかないわけです。もしデータがポンコツであれば、データがポンコツであることを示すのがアルゴリズムです。アルゴリズムはデータに正直です。データが悩ましいものである場合は、予測の結果も悩ましさを含んでしまう、それがデータドリブンなのです。
東京大学を卒業後、webマーケティングやサービス企画、システム開発などに従事。
デジタルマーケティングの世界に落ち着き、事業会社、広告代理店を経て2014年に独立。
現在は大小さまざまの事業会社、広告代理店などに対して、テクノロジー観点からデジタルマーケティングの支援を行っている。データ計測の設計、実装から分析、マーケティングオートメーションや広告運用などの施策との連携まで扱う。
さまざまな規模の経験から、企業の身の丈にあったデジタルマーケティングの企画に強い。フリーランスで活動していたが、2017年から法人化。
2021/03/11(木)
オンラインセミナー「地方かつ1人で頑張るweb担当者さんの成功事例」|2021/3/11(木)
■□ お知らせ □■ 一般参加が可能になりました 当セミナーは、当初有料会員限定を予定していましたが、一般の方が参加可能な無料セミナーとなり …
2021/02/18(木)
オンラインセミナー「はじめてのGoogleデータポータル&Google BigQuery」|2021/2/18(木)
2016年に米国でベータ版が公開されたGoogleデータポータル。 製品のリリースノートが何回更新されているかを調べてみたところ、年々回数が …
2021/01/20(水)
オンラインセミナー「Google アナリティクス エキスパートによるQ&A祭り」|2021/1/20(水)
皆さんのGoogle アナリティクスに対する疑問を、エキスパートが解決していきます。広く普及しているGoogle アナリティクスですが、自己 …
【コラム】「誰かに嫌われない」よりも「誰かに支持される」を意識する
株式会社真摯 いちしま 泰樹「誰かに嫌われない」「みんなに嫌われない」よりも、「誰かに熱量を持って支持される」ことを意識した方が良いです。 デジタルな領域のビジネスにお …
Eテレ夜放送の「ヒャダ×体育のワンルーム☆ミュージック」という番組が好きで毎回見ています。今や、楽譜やコードなど音楽理論を知らなくても、音楽 …
【コラム】サードパーティcookieの廃止へのスケジュールと置き換え技術 (2)
Option合同会社 柳井 隆道「サードパーティcookieの廃止へのスケジュールと置き換え技術 (1)」より続きます。 Chromeのサードパーティcookieの置き換え …