コラムバックナンバー

仮説検定における第1種の過誤と第2種の過誤について、第1種の過誤は本来誤っていることを正しいとみなす過誤ということで偽陽性、第2種の過誤は本来正しいことを誤っているとみなす過誤ということで偽陰性といいます。

医療の世界における検査も似たような考え方ですよね。本来疾患があるときに疾患があると判定することと、本来疾患がないときに疾患がないと判定することの両方が求められます。本来疾患がないのに疾患があると判定してしまうのが偽陽性、疾患があるのに疾患がないと判定してしまうのが偽陰性です。

PCR検査で話題になった「感度」(Sensitivity)というのはウイルスを保有している人を陽性と判定する確率です。感度を上げるということは偽陰性を少なくすることにつながります。疾患がある人を正しく疾患ありと診断できるかを表す指標で、感度が高い検査は除外診断に有用です。感度は「再現率」(Recall)ということもあります。

一方で「特異度」(Specificity)はウイルスを保有していない人に対して正しく陰性と判定する確率です。特異度を上げることは偽陽性を少なくすることにつながります。疾患がない人を正しく健康と診断できるかを表す指標で、特異度が高い検査は確定診断に有用です。感度と特異度はトレードオフの関係にあります。偽陽性を減らそうとすれば陰性診断が増え、偽陰性が増える、逆もまたしかりです。

仮説検定の話題に戻りますが、ネイマン・ピアソン流の仮説検定ではまずサンプルサイズを決定します。これは実験を開始する前に行うもので、実験を開始してデータが集まってから変えるなどというものではありません。というのもサンプルサイズによって仮説が棄却されるかされないかが変わるためです。そのため実験を開始して間もないうちは有意ではないが、時間が経過すると有意になるというということはあります。たとえばクリック率を検定する場合、表示回数100回では有意ではないが表示回数10000回では有意に出ることはあるのです。サンプルサイズを事後的に決めてしまうと結論を変えることができるため、事前に決めておくのです。

そして有意かどうかの判定では、違いの有無を判定することはできますが、違いに実質的な意味があるか(効果があるか、インパクトがあるか)は教えてくれません。たとえば学校である群に補習を行った結果を100点満点のテストで評価するとき、その補習しなかった群と違いはあったが1点しか変わらなかったということであれば、その施策に意味があるのでしょうか?当然人数が多ければ有意には出ます。

だから単純にp値※だけに着目して有意かどうかを見るだけでは不十分で、サンプルサイズに影響されない違いの大きさ、効果の大きさを表す効果量(effect size)という指標を導入します。この効果量というのは、その検定で何を比較したいのか(相関係数なのか、平均値の差なのか→t検定、比率の差なのか→カイ2乗検定、…)ごとに決まったものがあります。興味のある方は以下のリンクを参照するといいです。

効果量と検定力分析入門 : 統計的検定を正しく使うために

またp値と有意水準だけを見ても第1種の過誤については語ってくれます(間違って「AはBより優れている」とは言わない)が、第2種の過誤については教えてくれません。つまり「Aのほうが優れているときにAを優れている」と判定できるかは別問題です。この「Aが優れているときにAを優れていると判定できる確率を検出力(Power)といいます。

先ほど「感度と特異度はトレードオフの関係にあります」と言いました。つまり有意水準と検出力がトレードオフの関係にあるということですが、これはサンプルサイズが一定の時で、実際には希望する有意水準と検出力を担保するためにサンプルサイズを決定するという手順があるのです。そして効果量(サンプルサイズを無視した、2群の違いを表す指標)の閾値を設定し、それを加味してサンプルサイズが決定されます。有意水準、検出力、効果量(の閾値)、サンプルサイズの4つは、いずれか3つが与えられると残りの1つも定まります。他の変数を固定すると、有意水準が大きくなるとサンプルサイズは小さくなる。検出力が大きくなるとサンプルサイズは大きくなる。効果量が大きくなるとサンプルサイズは小さくなるという関係があります。

※p値:「AとBの間に差がない」と仮定したときに、今の結果が起こるのがどのくらいレアであるかを表す確率(前回のコラム参照)

コラム担当スタッフ

柳井 隆道

Option合同会社
代表社員
マーケティングテクノロジスト
marketechlabo

東京大学を卒業後、webマーケティングやサービス企画、システム開発などに従事。
デジタルマーケティングの世界に落ち着き、事業会社、広告代理店を経て2014年に独立。
現在は大小さまざまの事業会社、広告代理店などに対して、テクノロジー観点からデジタルマーケティングの支援を行っている。データ計測の設計、実装から分析、マーケティングオートメーションや広告運用などの施策との連携まで扱う。
さまざまな規模の経験から、企業の身の丈にあったデジタルマーケティングの企画に強い。フリーランスで活動していたが、2017年から法人化。

一つ前のページに戻る

a2i セミナー風景イメージ

あなたも参加しませんか?

「アナリティクス アソシエーション」は、アナリティクスに取り組む皆さまの活躍をサポートします。会員登録いただいた方には、セミナー・イベント情報や業界の関連ニュースをいち早くお届けしています。

セミナー・イベント予定

予定一覧へ

コラムバックナンバー

  • 【コラム】時系列データ解析のための「コロナ禍のデータ」

    株式会社Rejoui 菅 由紀子
    発信元:メールマガジン2022年9月21日号より

    2019年12月に世界で初めて新型コロナウイルスの感染者が報告されてから2年8ヶ月が経過しました。先日、WHOのテドロス事務局長がこのパンデ …

  • 【コラム】接点を。もっと接点を

    株式会社真摯 いちしま 泰樹
    発信元:メールマガジン2022年9月14日号より

    あるBtoCのWebサイトの状況を分析していたとき、全体的にモバイルのトラフィックのコンバージョンの状況が非常に良いことに気が付きました。ど …

  • 【コラム】データの見方のおさらい~変数の4つの尺度

    Option合同会社 柳井 隆道
    発信元:メールマガジン2022年9月7日号より

    今回はデータ分析の際の基本のおさらいです。 データの中の変数には人数、年齢のような量を表す変数と、居住地域、性別のような質を表す変数がありま …

バックナンバー一覧へ