【コラム】A/Bテストの多くは刹那的なものだということに気づくべきだ

株式会社真摯いちしま泰樹
発信元：メールマガジン2018年12月5日号より

「A/Bテストを重ねていけば、結果として数字はずっと良くなっていることになる」という謎理論は誰が言い始めたのでしょう。

Webサイトやアプリで行われるA/Bテストの多くは、刹那的なものです。

—
せつな‐てき【刹那的】
１時間が極めて短いさま。
２あと先を考えず、今この瞬間だけを充実させて生きようとするさま。特に、一時的な享楽にふけるさま。「刹那的な生き方」
デジタル大辞泉（小学館）
—

A/Bテストは、アクションやセッションといった短い時間単位のユーザー行動をもとに、その場での善しあしが判断されるものが中心です。ときにとても刹那的だなと感じます。

LTVや関係性構築といった長期的視点での状況や指標がポジティブかどうかを知るには、A/Bテストは得意ではないはずです（それを知る方法は例えばコーホート分析などになるのでしょう）。アクション単位やセッション単位でポジティブとされたA/Bテストの結果が、長期的にはネガティブな結果につながることも十分起こりえます。

A/Bテストを否定するわけではありません。A/Bテストの結果は重要です。しかし、データは全能の神ではありませんし、データこそが真実でもありません。物事の一側面を主観的に表しているに過ぎず、あくまで意志決定要素の一つです。

先日、データに対する盲目的な信仰に対する危惧について書かれた記事を読みました。

なぜデータドリブンではなくて、データインフォームドであるべきか – Kan Nishida

言葉のあやかも知れませんが、私もデータドリブンという表現に時折モヤモヤすることがあります。文脈のニュアンスによってそう感じるときがあるからだと思いますが、この記事で書かれている「盲目的信仰のようなもの」に対してです。「いま手元にあるデータは確かにこうだけれど、これだけで判断していいの？　もっと理解しなくていいの？　自分たちのビジョンや意向はどうなの？」と、結果が出ても問いかけは止めるべきではありません。

直近で得られたデータはそうかも知れない。でも、何か懸念点があったり違和感を抱いたりしているのであれば、それを積極的に拾いたいし、意向やビジョンやミッション、ブランドも尊重したい。

昨年にも似たテーマでコラムを書いているのですが、その文末で書いた「ツールは結果を出しますが、それを咀嚼するのはヒトでありたい」というのは、ずっと意識していたいところです。

刹那的すぎる改善サイクルにするな