ABテストをするとき

「施策AとBを比較した結果、施策AのほうがCVR（目的の指標）が高いので優れていると判断した」

そこで思考が終わっていませんか？本来は施策Aと施策Bの間に差がないのに、たまたまその期間のデータの確率的な現れ方（データのばらつき）の問題でAのほうが優れているという結果が出てしまうこともあります。

まずABテストというのは仮説検定の一つの形です。仮説検定は100年ほど前に生み出された方法ですが、大きく2つの流儀があり、どちらも有効なものとして現在も活用されています。

まずその中で最も伝統的なフィッシャーの考え方を紹介します。フィッシャー流の仮説検定とはある仮説（これを帰無仮説といいます）を想定し、データに基づいてその仮説が否定（棄却）されるかどうかを見る手法です。ABテストでは帰無仮説が「AとBの間に差がない」で、これをデータによって否定することを試みるのです。これが否定されると「AとBの間に違いがある」という結論が導き出されることになります。
ややこしいのですが積極的に「AとBの間に違いがある」という仮説を選ぶのではなく、「AとBの間に差がない」と言ったときに無理があるからという消極的な理由で「AとBの間に違いがある」という結論を導き出すのです。このあたりは直感的ではないかもしれませんが、手続き上はそう考えなければならないということは留意しておいてください。そしてこの流儀ではよく言われる「サンプルサイズ」という考え方はありません。「AとBの間に差がない」と仮定したときに、今の結果が起こるのがどのくらいレアであるか、それだけです。レア度を表す確率をp値といいます。

これに対して、2つの仮説を比較して一方を選択して帰結する考え方があります。たとえばある施策に対して改善施策を実施して比較する場合に、「改善施策のほうがオリジナルより優れている」か「変わらない」かの2つの仮説を比較する方法です。ネイマンとピアソンの2人が提示した考え方です。
先の場合は「AとBの間に差がない」ことに対する是非を問うだけだったのですが、こちらは「AとBの間に差がない」と「AがBより優れている」という2つの仮説を比較します。
フィッシャー流は消極的だったのですが、ネイマン・ピアソン流は積極的ですよね（ここでの消極的／積極的の違いは決していいか悪いかを示すものではありません。ニュートラルな意味で手法を比較した考え方です）。

そして求められるのは本来「AとBの間に差がない」ときには「AとBの間に差がない」と判定し、本来「AがBより優れている」ときには「AがBより優れている」と判定することです。本来「AとBの間に差がない」のに「AがBより優れている」と判定することは望ましくありません。これを第1種の過誤（Type I error）または偽陽性（False positive）といいます。また本来「AがBより優れている」のに「AとBの間に差がない」と判定することは望ましくありません。これを第2種の過誤（Type II error）または偽陰性（False negative）といいます。

次回はこの2種類の過誤についての関連話題と、これらを用いてどのように仮説を選択するのかを説明します。