コラムバックナンバー

ABテストなどを統計的に正当化するために使われる「有意差」。この有意差について先日こんなことが話題になりました。

原文
Scientists rise up against statistical significance

日本語の説明
「“統計的に有意差なし”もうやめませんか」 Natureに科学者800人超が署名して投稿

サイエンスの世界でも「有意差」なるものが誤った使われ方をしている。現在行われている誤用を導くような論文審査の方法をやめなさい。

という話です。

■有意差とは

有意差についてご存知でない方のためにおさらいしておきます。有意差とは複数のグループを比較するときに用いるアイデアです。グループ間で対象の変数の値の差を見て、その差がある程度以上大きければAとBは違うとみなす。この「ある程度」の閾値はサンプルサイズなど統計的手続きによって導出されるもので、「ある程度以上大きい差」を有意差といいます。
マーケティングの世界でもABテストなどでよく使われます。またアンケート調査結果で複数のセグメント間で傾向に違いがあるかどうかを見ることなどにも用いられます。製薬の世界では投薬した人としていない人を比較して薬効があるのかどうかを検証するのに用います。
有意差という概念に基づいて複数の群を比較することを統計的には「仮説検定」といいます。比較のための手続き論です。

■正しい「有意差」の考え方

とにかくA群とB群との間の差がある程度以上大きければ、有意差があればA群とB群は違うと結論付けるのはABテストの現場でも行われているかもしれません。それは実は本来の仮説検定の考え方とは異なるもので、誤用なのです。
それが科学論文の現場でも行われていることを嘆いたのが先の記事です。なおサイエンスの専門家は統計の専門家ではありません。科学者であっても統計的に誤った数字の見方をすることは十分にありうるし、事実誤った見方をしてきました。その誤った見方を導いてきたのが一般的な学術論文の審査のやり方にあったということです。その誤ったプロセスをやめなさいということのが彼らの主張です。

では正しい有意差の考え方はどういうものでしょうか。
オリジナルの仮説検定の方法というのは、今から100年ほど前にR.Fisherが提唱したもので、

A群とB群の間に違いがないと仮定したときに、現在の事象が発生する確率はこのくらいレアである(この確率をp値という)。

という考え方です。それがあまりにレアだから、違いがないという仮定を棄却するという帰結が導かれるのです。そこまでレアではない場合、判断を留保します。違いはないかもしれないし、あるかもしれない。結構ふわっとしたものでした。
この仮説検定に対立仮説というアイデアを導入したのがNeymanとPearsonです。対立仮説とはA群とB群の間に違いがないという仮説(これを帰無仮説といいます)に対立する仮説で、帰無仮説が棄却されたときに採択される仮説です。そして本当は対立仮説が正しいのに採択されない確率を考慮し、検定をするのに必要なサンプルサイズを事前に決める手順を提唱しました。
こちらの方法ではサンプルサイズ(ABテストであればインプレッション数)を事前に定めるのです。手順が厳密である一方、対立仮説というものが設定され、それが正しいか誤っているかが判定されるのです。
このあたりが混同されてp値ばかりが独り歩きし、2群の比較が○×のように扱われるようになっているのです。

2016年にはAmerican Statistical Associationがこの傾向を憂慮してp値の扱いについて声明を出します。

https://doi.org/10.1080/00031305.2016.1154108

日本語訳もありますが、

http://www.biometrics.gr.jp/

左メニューの「統計的有意性とP値に関するASA声明」をご覧ください。

■有意差とインパクトの違い

有意差があってもインパクトが大きいとは限りません。

「れっきとした違いはある。だが違いは小さい」

という事態です。逆にデータが少ない場合に

「有意差がなくても実はインパクトが大きいかもしれない」

ということもあるかもしれません。はっきりと「インパクトが大きい」とは言い切れず、あくまで「インパクトが大きいかもしれない」とまでしか言えないところが有意差のないことを表しています。ビジネスにおいて「れっきとした違いはある。だが違いは小さい」という施策に意味があるのでしょうか。
有意差は数字をとらえる一つのアイデアにすぎないのです。ABテストでも「有意差があったからこのクリエイティブは表示しないほうがいい」などとすぐに結論を出すのはやめて、ほかの事情も考慮してトータルで結論を考えましょう。
「ゆーい差決戦主義」というフレーズで検索してみてください。このあたりの議論が揶揄されつつも出てくるので暇つぶしになると思います。

コラム担当スタッフ

柳井 隆道

Option合同会社
代表社員
マーケティングテクノロジスト
marketechlabo

東京大学を卒業後、webマーケティングやサービス企画、システム開発などに従事。
デジタルマーケティングの世界に落ち着き、事業会社、広告代理店を経て2014年に独立。
現在は大小さまざまの事業会社、広告代理店などに対して、テクノロジー観点からデジタルマーケティングの支援を行っている。データ計測の設計、実装から分析、マーケティングオートメーションや広告運用などの施策との連携まで扱う。
さまざまな規模の経験から、企業の身の丈にあったデジタルマーケティングの企画に強い。フリーランスで活動していたが、2017年から法人化。

一つ前のページに戻る

a2i セミナー風景イメージ

あなたも参加しませんか?

「アナリティクス アソシエーション」は、アナリティクスに取り組む皆さまの活躍をサポートします。会員登録いただいた方には、セミナー・イベント情報や業界の関連ニュースをいち早くお届けしています。

セミナー・イベント予定

予定一覧へ

コラムバックナンバー

  • 【コラム】Googleアナリティクスの新バージョンの隠れた目的

    アナリティクスアソシエーション 大内 範行
    発信元:メールマガジン2020年7月15日号より

    Googleアナリティクスの新バージョンがリリースされ、新しい機能の開発がどんどん進んでいます。 a2iでも7月28日に、その新バージョンに …

  • 【コラム】感情を分析するということ ープルチックの感情の輪ー

    株式会社Rejoui 菅 由紀子
    発信元:メールマガジン2020年7月8日号より

    データサイエンスの世界に長く携わっておりますが、ここ数ヶ月依頼として増えているのは非構造化データ(=動画・音声・画像・テキスト)の構造化処理 …

  • 【コラム】KPIに疑問を持ち続けたい

    株式会社真摯 いちしま 泰樹
    発信元:メールマガジン2020年7月1日号より

    KPIに疑問を持ち続けていたいです。仮にKPI設計にその業界のセオリーがあったとしても、自社の今のフェーズにまったく合致していることはそんな …

バックナンバー一覧へ