ABテストなどを統計的に正当化するために使われる「有意差」。この有意差について先日こんなことが話題になりました。

原文
Scientists rise up against statistical significance

日本語の説明
「“統計的に有意差なし”もうやめませんか」　Natureに科学者800人超が署名して投稿

サイエンスの世界でも「有意差」なるものが誤った使われ方をしている。現在行われている誤用を導くような論文審査の方法をやめなさい。

という話です。

■有意差とは

有意差についてご存知でない方のためにおさらいしておきます。有意差とは複数のグループを比較するときに用いるアイデアです。グループ間で対象の変数の値の差を見て、その差がある程度以上大きければAとBは違うとみなす。この「ある程度」の閾値はサンプルサイズなど統計的手続きによって導出されるもので、「ある程度以上大きい差」を有意差といいます。
マーケティングの世界でもABテストなどでよく使われます。またアンケート調査結果で複数のセグメント間で傾向に違いがあるかどうかを見ることなどにも用いられます。製薬の世界では投薬した人としていない人を比較して薬効があるのかどうかを検証するのに用います。
有意差という概念に基づいて複数の群を比較することを統計的には「仮説検定」といいます。比較のための手続き論です。

■正しい「有意差」の考え方

とにかくA群とB群との間の差がある程度以上大きければ、有意差があればA群とB群は違うと結論付けるのはABテストの現場でも行われているかもしれません。それは実は本来の仮説検定の考え方とは異なるもので、誤用なのです。
それが科学論文の現場でも行われていることを嘆いたのが先の記事です。なおサイエンスの専門家は統計の専門家ではありません。科学者であっても統計的に誤った数字の見方をすることは十分にありうるし、事実誤った見方をしてきました。その誤った見方を導いてきたのが一般的な学術論文の審査のやり方にあったということです。その誤ったプロセスをやめなさいということのが彼らの主張です。

では正しい有意差の考え方はどういうものでしょうか。
オリジナルの仮説検定の方法というのは、今から100年ほど前にR.Fisherが提唱したもので、

A群とB群の間に違いがないと仮定したときに、現在の事象が発生する確率はこのくらいレアである（この確率をp値という）。

という考え方です。それがあまりにレアだから、違いがないという仮定を棄却するという帰結が導かれるのです。そこまでレアではない場合、判断を留保します。違いはないかもしれないし、あるかもしれない。結構ふわっとしたものでした。
この仮説検定に対立仮説というアイデアを導入したのがNeymanとPearsonです。対立仮説とはA群とB群の間に違いがないという仮説（これを帰無仮説といいます）に対立する仮説で、帰無仮説が棄却されたときに採択される仮説です。そして本当は対立仮説が正しいのに採択されない確率を考慮し、検定をするのに必要なサンプルサイズを事前に決める手順を提唱しました。
こちらの方法ではサンプルサイズ（ABテストであればインプレッション数）を事前に定めるのです。手順が厳密である一方、対立仮説というものが設定され、それが正しいか誤っているかが判定されるのです。
このあたりが混同されてp値ばかりが独り歩きし、2群の比較が○×のように扱われるようになっているのです。

2016年にはAmerican Statistical Associationがこの傾向を憂慮してp値の扱いについて声明を出します。

https://doi.org/10.1080/00031305.2016.1154108

日本語訳もありますが、

http://www.biometrics.gr.jp/

左メニューの「統計的有意性とP値に関するASA声明」をご覧ください。

■有意差とインパクトの違い

有意差があってもインパクトが大きいとは限りません。

「れっきとした違いはある。だが違いは小さい」

という事態です。逆にデータが少ない場合に

「有意差がなくても実はインパクトが大きいかもしれない」

ということもあるかもしれません。はっきりと「インパクトが大きい」とは言い切れず、あくまで「インパクトが大きいかもしれない」とまでしか言えないところが有意差のないことを表しています。ビジネスにおいて「れっきとした違いはある。だが違いは小さい」という施策に意味があるのでしょうか。
有意差は数字をとらえる一つのアイデアにすぎないのです。ABテストでも「有意差があったからこのクリエイティブは表示しないほうがいい」などとすぐに結論を出すのはやめて、ほかの事情も考慮してトータルで結論を考えましょう。
「ゆーい差決戦主義」というフレーズで検索してみてください。このあたりの議論が揶揄されつつも出てくるので暇つぶしになると思います。