コラムバックナンバー

ABテストをするとき

「施策AとBを比較した結果、施策AのほうがCVR(目的の指標)が高いので優れていると判断した」

そこで思考が終わっていませんか?本来は施策Aと施策Bの間に差がないのに、たまたまその期間のデータの確率的な現れ方(データのばらつき)の問題でAのほうが優れているという結果が出てしまうこともあります。

まずABテストというのは仮説検定の一つの形です。仮説検定は100年ほど前に生み出された方法ですが、大きく2つの流儀があり、どちらも有効なものとして現在も活用されています。

まずその中で最も伝統的なフィッシャーの考え方を紹介します。フィッシャー流の仮説検定とはある仮説(これを帰無仮説といいます)を想定し、データに基づいてその仮説が否定(棄却)されるかどうかを見る手法です。ABテストでは帰無仮説が「AとBの間に差がない」で、これをデータによって否定することを試みるのです。これが否定されると「AとBの間に違いがある」という結論が導き出されることになります。
ややこしいのですが積極的に「AとBの間に違いがある」という仮説を選ぶのではなく、「AとBの間に差がない」と言ったときに無理があるからという消極的な理由で「AとBの間に違いがある」という結論を導き出すのです。このあたりは直感的ではないかもしれませんが、手続き上はそう考えなければならないということは留意しておいてください。そしてこの流儀ではよく言われる「サンプルサイズ」という考え方はありません。「AとBの間に差がない」と仮定したときに、今の結果が起こるのがどのくらいレアであるか、それだけです。レア度を表す確率をp値といいます。

これに対して、2つの仮説を比較して一方を選択して帰結する考え方があります。たとえばある施策に対して改善施策を実施して比較する場合に、「改善施策のほうがオリジナルより優れている」か「変わらない」かの2つの仮説を比較する方法です。ネイマンとピアソンの2人が提示した考え方です。
先の場合は「AとBの間に差がない」ことに対する是非を問うだけだったのですが、こちらは「AとBの間に差がない」と「AがBより優れている」という2つの仮説を比較します。
フィッシャー流は消極的だったのですが、ネイマン・ピアソン流は積極的ですよね(ここでの消極的/積極的の違いは決していいか悪いかを示すものではありません。ニュートラルな意味で手法を比較した考え方です)。

そして求められるのは本来「AとBの間に差がない」ときには「AとBの間に差がない」と判定し、本来「AがBより優れている」ときには「AがBより優れている」と判定することです。本来「AとBの間に差がない」のに「AがBより優れている」と判定することは望ましくありません。これを第1種の過誤(Type I error)または偽陽性(False positive)といいます。また本来「AがBより優れている」のに「AとBの間に差がない」と判定することは望ましくありません。これを第2種の過誤(Type II error)または偽陰性(False negative)といいます。

次回はこの2種類の過誤についての関連話題と、これらを用いてどのように仮説を選択するのかを説明します。

コラム担当スタッフ

柳井 隆道

Option合同会社
代表社員
マーケティングテクノロジスト
marketechlabo

東京大学を卒業後、webマーケティングやサービス企画、システム開発などに従事。
デジタルマーケティングの世界に落ち着き、事業会社、広告代理店を経て2014年に独立。
現在は大小さまざまの事業会社、広告代理店などに対して、テクノロジー観点からデジタルマーケティングの支援を行っている。データ計測の設計、実装から分析、マーケティングオートメーションや広告運用などの施策との連携まで扱う。
さまざまな規模の経験から、企業の身の丈にあったデジタルマーケティングの企画に強い。フリーランスで活動していたが、2017年から法人化。

一つ前のページに戻る

a2i セミナー風景イメージ

あなたも参加しませんか?

「アナリティクス アソシエーション」は、アナリティクスに取り組む皆さまの活躍をサポートします。会員登録いただいた方には、セミナー・イベント情報や業界の関連ニュースをいち早くお届けしています。

セミナー・イベント予定

予定一覧へ

コラムバックナンバー

  • 【コラム】注目される統計的因果推論

    株式会社Rejoui 菅 由紀子
    発信元:メールマガジン2021年10月20日号より

    先日発表されたノーベル経済学賞の受賞者、デービッド・カード、ヨシュア・アングリスト、グイド・インベンスの3氏は「自然実験が知識の源泉となるこ …

  • 【コラム】計測できるものだけで都合良く評価していないか?

    株式会社真摯 いちしま 泰樹
    発信元:メールマガジン2021年10月13日号より

    ■「測定できなければ管理できないというのは間違いで、代償の大きい誤解だ」 誤って引用されるフレーズに「測定できなければ管理できない」というも …

  • 【コラム】ABテストの科学

    Option合同会社 柳井 隆道
    発信元:メールマガジン2021年10月6日号より

    ABテストをするとき 「施策AとBを比較した結果、施策AのほうがCVR(目的の指標)が高いので優れていると判断した」 そこで思考が終わってい …

バックナンバー一覧へ