コラムバックナンバー

「A/Bテストを重ねていけば、結果として数字はずっと良くなっていることになる」という謎理論は誰が言い始めたのでしょう。

Webサイトやアプリで行われるA/Bテストの多くは、刹那的なものです。


せつな‐てき【刹那的】
1 時間が極めて短いさま。
2 あと先を考えず、今この瞬間だけを充実させて生きようとするさま。特に、一時的な享楽にふけるさま。「刹那的な生き方」
デジタル大辞泉(小学館)

A/Bテストは、アクションやセッションといった短い時間単位のユーザー行動をもとに、その場での善しあしが判断されるものが中心です。ときにとても刹那的だなと感じます。

LTVや関係性構築といった長期的視点での状況や指標がポジティブかどうかを知るには、A/Bテストは得意ではないはずです(それを知る方法は例えばコーホート分析などになるのでしょう)。アクション単位やセッション単位でポジティブとされたA/Bテストの結果が、長期的にはネガティブな結果につながることも十分起こりえます。

A/Bテストを否定するわけではありません。A/Bテストの結果は重要です。しかし、データは全能の神ではありませんし、データこそが真実でもありません。物事の一側面を主観的に表しているに過ぎず、あくまで意志決定要素の一つです。

先日、データに対する盲目的な信仰に対する危惧について書かれた記事を読みました。

なぜデータドリブンではなくて、データインフォームドであるべきか – Kan Nishida

言葉のあやかも知れませんが、私もデータドリブンという表現に時折モヤモヤすることがあります。文脈のニュアンスによってそう感じるときがあるからだと思いますが、この記事で書かれている「盲目的信仰のようなもの」に対してです。「いま手元にあるデータは確かにこうだけれど、これだけで判断していいの? もっと理解しなくていいの? 自分たちのビジョンや意向はどうなの?」と、結果が出ても問いかけは止めるべきではありません。

直近で得られたデータはそうかも知れない。でも、何か懸念点があったり違和感を抱いたりしているのであれば、それを積極的に拾いたいし、意向やビジョンやミッション、ブランドも尊重したい。

昨年にも似たテーマでコラムを書いているのですが、その文末で書いた「ツールは結果を出しますが、それを咀嚼するのはヒトでありたい」というのは、ずっと意識していたいところです。

刹那的すぎる改善サイクルにするな

コラム担当スタッフ

いちしま 泰樹

株式会社真摯
代表取締役
真摯のブログ
makitani.com

外食チェーンストア、百貨店、Web制作会社(株式会社TAM、デジパ株式会社)、インターネット広告代理店(株式会社アイレップ)を経て独立。2010年にCinciを設立し、のち株式会社真摯として法人化。

マーケティング視点と分析データの根拠を元に、クライアントのデジタル領域のビジネス改善を支援している。a2iセミナー編成委員会。

著書に『Google アナリティクス 実践Webサイト分析入門』(インプレス)。

一つ前のページに戻る

a2i セミナー風景イメージ

あなたも参加しませんか?

「アナリティクス アソシエーション」は、アナリティクスに取り組む皆さまの活躍をサポートします。会員登録いただいた方には、セミナー・イベント情報や業界の関連ニュースをいち早くお届けしています。

セミナー・イベント予定

予定一覧へ

コラムバックナンバー

  • 【コラム】注目される統計的因果推論

    株式会社Rejoui 菅 由紀子
    発信元:メールマガジン2021年10月20日号より

    先日発表されたノーベル経済学賞の受賞者、デービッド・カード、ヨシュア・アングリスト、グイド・インベンスの3氏は「自然実験が知識の源泉となるこ …

  • 【コラム】計測できるものだけで都合良く評価していないか?

    株式会社真摯 いちしま 泰樹
    発信元:メールマガジン2021年10月13日号より

    ■「測定できなければ管理できないというのは間違いで、代償の大きい誤解だ」 誤って引用されるフレーズに「測定できなければ管理できない」というも …

  • 【コラム】ABテストの科学

    Option合同会社 柳井 隆道
    発信元:メールマガジン2021年10月6日号より

    ABテストをするとき 「施策AとBを比較した結果、施策AのほうがCVR(目的の指標)が高いので優れていると判断した」 そこで思考が終わってい …

バックナンバー一覧へ