コラムバックナンバー
Option合同会社 柳井 隆道
発信元:メールマガジン2021年10月6日号より
ABテストをするとき
「施策AとBを比較した結果、施策AのほうがCVR(目的の指標)が高いので優れていると判断した」
そこで思考が終わっていませんか?本来は施策Aと施策Bの間に差がないのに、たまたまその期間のデータの確率的な現れ方(データのばらつき)の問題でAのほうが優れているという結果が出てしまうこともあります。
まずABテストというのは仮説検定の一つの形です。仮説検定は100年ほど前に生み出された方法ですが、大きく2つの流儀があり、どちらも有効なものとして現在も活用されています。
まずその中で最も伝統的なフィッシャーの考え方を紹介します。フィッシャー流の仮説検定とはある仮説(これを帰無仮説といいます)を想定し、データに基づいてその仮説が否定(棄却)されるかどうかを見る手法です。ABテストでは帰無仮説が「AとBの間に差がない」で、これをデータによって否定することを試みるのです。これが否定されると「AとBの間に違いがある」という結論が導き出されることになります。
ややこしいのですが積極的に「AとBの間に違いがある」という仮説を選ぶのではなく、「AとBの間に差がない」と言ったときに無理があるからという消極的な理由で「AとBの間に違いがある」という結論を導き出すのです。このあたりは直感的ではないかもしれませんが、手続き上はそう考えなければならないということは留意しておいてください。そしてこの流儀ではよく言われる「サンプルサイズ」という考え方はありません。「AとBの間に差がない」と仮定したときに、今の結果が起こるのがどのくらいレアであるか、それだけです。レア度を表す確率をp値といいます。
これに対して、2つの仮説を比較して一方を選択して帰結する考え方があります。たとえばある施策に対して改善施策を実施して比較する場合に、「改善施策のほうがオリジナルより優れている」か「変わらない」かの2つの仮説を比較する方法です。ネイマンとピアソンの2人が提示した考え方です。
先の場合は「AとBの間に差がない」ことに対する是非を問うだけだったのですが、こちらは「AとBの間に差がない」と「AがBより優れている」という2つの仮説を比較します。
フィッシャー流は消極的だったのですが、ネイマン・ピアソン流は積極的ですよね(ここでの消極的/積極的の違いは決していいか悪いかを示すものではありません。ニュートラルな意味で手法を比較した考え方です)。
そして求められるのは本来「AとBの間に差がない」ときには「AとBの間に差がない」と判定し、本来「AがBより優れている」ときには「AがBより優れている」と判定することです。本来「AとBの間に差がない」のに「AがBより優れている」と判定することは望ましくありません。これを第1種の過誤(Type I error)または偽陽性(False positive)といいます。また本来「AがBより優れている」のに「AとBの間に差がない」と判定することは望ましくありません。これを第2種の過誤(Type II error)または偽陰性(False negative)といいます。
次回はこの2種類の過誤についての関連話題と、これらを用いてどのように仮説を選択するのかを説明します。
東京大学を卒業後、webマーケティングやサービス企画、システム開発などに従事。
デジタルマーケティングの世界に落ち着き、事業会社、広告代理店を経て2014年に独立。
現在は大小さまざまの事業会社、広告代理店などに対して、テクノロジー観点からデジタルマーケティングの支援を行っている。データ計測の設計、実装から分析、マーケティングオートメーションや広告運用などの施策との連携まで扱う。
さまざまな規模の経験から、企業の身の丈にあったデジタルマーケティングの企画に強い。フリーランスで活動していたが、2017年から法人化。
2024/12/10(火)
オンラインセミナー「【GA4導入・活用術】事業会社と自社サービス担当者が語る!」|2024/12/10(火)
GA4を導入したいけれど、チーム内の理解を得られずに進められない、または導入はしたものの活用しきれていない――そんなお悩みはありませんか? …
2024/11/13(水)
オンラインセミナー「参加無料!超初心者向け!GA4にログインはできた。その次に何をすればいいかわからない人のためのセミナー。サイト改善の知恵袋付きです。」|2024/11/13(水)
GA4にログインしても何が何だかさっぱりわからないことは多いですよね。でも、Webサイトのことは知りたいし、できれば改善点も知りたい…。そん …
2024/10/30(水)
オンラインセミナー「コンテンツのKPIと評価~GA4を使った効果分析~」|2024/10/30(水)
オウンドメディアを運営し、コンテンツマーケティングに取り組む企業が増えていますが、「どのように評価すればよいかわからない」「コンバージョンが …
【コラム】新しい生成AI検索サービス 効率的な答えが見つかることは本当に幸せか?
アナリティクスアソシエーション 大内 範行ChatGPT searchが、一部のユーザーにリリースされています。 私はTeamsプランで契約があるためChromeのデフォルトサーチに …
みなさんこんにちは。渋谷にある大学、日本経済大学で教員をしております、金谷武明と申します。以前はGoogleという会社でYouTubeで検索 …
衆議院選挙が終わりました。選挙のたびに開票の時刻と同時に当選確実が出る「出口調査」の予測が話題になります。 今回、開票と同時に出した主要メデ …