コラムバックナンバー

データを扱う仕事の中で、データに基づいて将来の数値を予測することはよくあります。その際過去のデータに基づいて予測を行うわけですが、過去データの扱い方で気を付けなければならないことを紹介します。

1. データに不備がある

データの誤りは気づきやすいのですが、意外と盲点になるのがデータが一部欠損している(行が欠損している)ケースです。
人間が入力しているデータで、気まぐれで入力されていないケースもありますし、入力しないインセンティブ(不利な結果を入力すると担当者の評価が下がるなど)がはたらいているケースもあります。
またわれわれ分析者は分析用データの抽出を依頼することもあるわけですが、データ抽出条件の誤りにより特定の条件に当てはまるデータだけが抜け落ちるなどのケースもあります。
欠損がランダムに発生する場合は悪影響は小さいのですが、このような場合は欠損の発生に偏り(特定の条件でデータが欠損する)があるため、その後の分析に悪影響を及ぼします。

2. 前提条件が変わる

過去どのくらいの期間のデータに基づいて予測をすればいいのでしょうか。
これをよく感じるのは競馬です。過去のデータから勝ち馬を予想する人は多いものです。昔からのデータから示すとおり長期休養明けは不利だとか、テン乗り(それまで騎乗したことのない騎手に乗り替わる)は不利だとか、よく言われています。たしかに馬が走るための調整が不十分だったり、騎手が馬の特徴を知らなかったりするなど、このデータをサポートする理論はあるのです。
しかし直近では休養中もトレーニングを積む設備ができ、調整が十分にできるようになった。また日本人より騎乗技術が圧倒的に優れている外国人騎手が多く乗るようになったことで、そのような条件でも勝つケースが多くなっています。つまりデータに反する結果がよく現れるようになってきているのです。
過去のデータの前提になっている環境が今では崩れてきている。だから過去のデータを使って予想すること自体がナンセンスになっているわけです。
データといっても直近のデータしか意味をなさないわけですが、競馬の場合は同条件のサンプルサイズ(行われたレースの数)が小さすぎて予想に不足するので、結局データが役に立つとは言いにくいのです。
私もデータを仕事としているわけですが、競馬で過去のデータばかり主張する人はセンスが悪いと思うわけです。
環境が変わることで過去のデータが役に立たなくなる例は実際のビジネスの世界でもあるわけで、現在の環境が有効となるデータの期間にも気を使う必要があります。

3. 1回しか発生したことのないイベントが要因になっている

データの期間中、1回しか起こらなかったイベントが目的変数に影響を及ぼす場合の扱いです。
たとえばB2C分野での今年の売上を予測する場合、消費税増税の影響は免れないでしょう。ではその影響の大きさはどの程度なのでしょうか。その大きさを見積もれないと売上の精度の高い予測はできません。
ところが過去のデータでその影響の大きさがわかるのは2014年のデータだけで、その1回を根拠に影響の大きさを見積もる必要があるわけです。影響の大きさを算出する根拠がたった1回のデータなのです。
過去のデータで何度か発生するイベントはその影響の大きさを見積もることはできますが、一度しか発生しなかったものを根拠にせざるを得ないというのは苦しいですよね。
ところがデータにはこういった事象もつきものなのです。

どんなにイケてるアルゴリズムを使ったところで、分析・予測のアルゴリズムはデータを反映するものでしかないわけです。もしデータがポンコツであれば、データがポンコツであることを示すのがアルゴリズムです。アルゴリズムはデータに正直です。データが悩ましいものである場合は、予測の結果も悩ましさを含んでしまう、それがデータドリブンなのです。

コラム担当スタッフ

柳井 隆道

Option合同会社
代表社員
マーケティングテクノロジスト
marketechlabo

東京大学を卒業後、webマーケティングやサービス企画、システム開発などに従事。
デジタルマーケティングの世界に落ち着き、事業会社、広告代理店を経て2014年に独立。
現在は大小さまざまの事業会社、広告代理店などに対して、テクノロジー観点からデジタルマーケティングの支援を行っている。データ計測の設計、実装から分析、マーケティングオートメーションや広告運用などの施策との連携まで扱う。
さまざまな規模の経験から、企業の身の丈にあったデジタルマーケティングの企画に強い。フリーランスで活動していたが、2017年から法人化。

一つ前のページに戻る

a2i セミナー風景イメージ

あなたも参加しませんか?

「アナリティクス アソシエーション」は、アナリティクスに取り組む皆さまの活躍をサポートします。会員登録いただいた方には、セミナー・イベント情報や業界の関連ニュースをいち早くお届けしています。

セミナー・イベント予定

予定一覧へ

コラムバックナンバー

  • 【コラム】Googleアナリティクスの新バージョンの隠れた目的

    アナリティクスアソシエーション 大内 範行
    発信元:メールマガジン2020年7月15日号より

    Googleアナリティクスの新バージョンがリリースされ、新しい機能の開発がどんどん進んでいます。 a2iでも7月28日に、その新バージョンに …

  • 【コラム】感情を分析するということ ープルチックの感情の輪ー

    株式会社Rejoui 菅 由紀子
    発信元:メールマガジン2020年7月8日号より

    データサイエンスの世界に長く携わっておりますが、ここ数ヶ月依頼として増えているのは非構造化データ(=動画・音声・画像・テキスト)の構造化処理 …

  • 【コラム】KPIに疑問を持ち続けたい

    株式会社真摯 いちしま 泰樹
    発信元:メールマガジン2020年7月1日号より

    KPIに疑問を持ち続けていたいです。仮にKPI設計にその業界のセオリーがあったとしても、自社の今のフェーズにまったく合致していることはそんな …

バックナンバー一覧へ