コラムバックナンバー
Option合同会社 柳井 隆道
発信元:メールマガジン2021年10月6日号より
ABテストをするとき
「施策AとBを比較した結果、施策AのほうがCVR(目的の指標)が高いので優れていると判断した」
そこで思考が終わっていませんか?本来は施策Aと施策Bの間に差がないのに、たまたまその期間のデータの確率的な現れ方(データのばらつき)の問題でAのほうが優れているという結果が出てしまうこともあります。
まずABテストというのは仮説検定の一つの形です。仮説検定は100年ほど前に生み出された方法ですが、大きく2つの流儀があり、どちらも有効なものとして現在も活用されています。
まずその中で最も伝統的なフィッシャーの考え方を紹介します。フィッシャー流の仮説検定とはある仮説(これを帰無仮説といいます)を想定し、データに基づいてその仮説が否定(棄却)されるかどうかを見る手法です。ABテストでは帰無仮説が「AとBの間に差がない」で、これをデータによって否定することを試みるのです。これが否定されると「AとBの間に違いがある」という結論が導き出されることになります。
ややこしいのですが積極的に「AとBの間に違いがある」という仮説を選ぶのではなく、「AとBの間に差がない」と言ったときに無理があるからという消極的な理由で「AとBの間に違いがある」という結論を導き出すのです。このあたりは直感的ではないかもしれませんが、手続き上はそう考えなければならないということは留意しておいてください。そしてこの流儀ではよく言われる「サンプルサイズ」という考え方はありません。「AとBの間に差がない」と仮定したときに、今の結果が起こるのがどのくらいレアであるか、それだけです。レア度を表す確率をp値といいます。
これに対して、2つの仮説を比較して一方を選択して帰結する考え方があります。たとえばある施策に対して改善施策を実施して比較する場合に、「改善施策のほうがオリジナルより優れている」か「変わらない」かの2つの仮説を比較する方法です。ネイマンとピアソンの2人が提示した考え方です。
先の場合は「AとBの間に差がない」ことに対する是非を問うだけだったのですが、こちらは「AとBの間に差がない」と「AがBより優れている」という2つの仮説を比較します。
フィッシャー流は消極的だったのですが、ネイマン・ピアソン流は積極的ですよね(ここでの消極的/積極的の違いは決していいか悪いかを示すものではありません。ニュートラルな意味で手法を比較した考え方です)。
そして求められるのは本来「AとBの間に差がない」ときには「AとBの間に差がない」と判定し、本来「AがBより優れている」ときには「AがBより優れている」と判定することです。本来「AとBの間に差がない」のに「AがBより優れている」と判定することは望ましくありません。これを第1種の過誤(Type I error)または偽陽性(False positive)といいます。また本来「AがBより優れている」のに「AとBの間に差がない」と判定することは望ましくありません。これを第2種の過誤(Type II error)または偽陰性(False negative)といいます。
次回はこの2種類の過誤についての関連話題と、これらを用いてどのように仮説を選択するのかを説明します。
東京大学を卒業後、webマーケティングやサービス企画、システム開発などに従事。
デジタルマーケティングの世界に落ち着き、事業会社、広告代理店を経て2014年に独立。
現在は大小さまざまの事業会社、広告代理店などに対して、テクノロジー観点からデジタルマーケティングの支援を行っている。データ計測の設計、実装から分析、マーケティングオートメーションや広告運用などの施策との連携まで扱う。
さまざまな規模の経験から、企業の身の丈にあったデジタルマーケティングの企画に強い。フリーランスで活動していたが、2017年から法人化。
2024/07/24(水)
オンラインセミナー「GTMでSPAの計測を行うために必要な基礎知識 ~よくある問題と解決策~」|2024/7/24(水)
Webサイトで提供する機能の高度化に伴い、Webサーバの処理軽減や高速化を目的として、JavaScriptフレームワークを利用したSPA ( …
2024/07/10(水)
オンラインセミナー「GA4エキスパートのイチオシ分析手法解説 ~ 柳井さん直伝 AIと広告連携 ~」|2024/7/10(水)
今回のGA4イチオシ分析手法では、実際の企業事例を取り上げます。 最初の問い合わせがオンラインで発生し、最後の成約はオフラインになるケースで …
2024/06/26(水)
オンラインセミナー「【スタートアップと地方企業のCRM活用事例】測りすぎ?測れてない?どっちでもいいからデータを使って売上アップを!」|2024/6/26(水)
■□ お知らせ □■ 一般の方も無料となりました 当セミナーは、当初一般の方は有料でしたが、無料でご参加いただけることとなりました。 データ …
ある日、運営堂の森野さんから下記のメールが届きました。 「a2iでコラムをお願いできないでしょうか? という連絡です。代表の大内さんからの依 …
少し前、a2iの「ひとこと茸」で、デジタルマーケティングのダッシュボードについて取り上げました。続いて書かれた渋谷さんのコラムも併せて、じっ …
株式会社ナンバーの渋谷と申します。アナリティクスアソシエーションの運営を担当しており、今回のメルマガを担当いたします。 先日a2iのミニコン …