コラムバックナンバー

仮説検定における第1種の過誤と第2種の過誤について、第1種の過誤は本来誤っていることを正しいとみなす過誤ということで偽陽性、第2種の過誤は本来正しいことを誤っているとみなす過誤ということで偽陰性といいます。

医療の世界における検査も似たような考え方ですよね。本来疾患があるときに疾患があると判定することと、本来疾患がないときに疾患がないと判定することの両方が求められます。本来疾患がないのに疾患があると判定してしまうのが偽陽性、疾患があるのに疾患がないと判定してしまうのが偽陰性です。

PCR検査で話題になった「感度」(Sensitivity)というのはウイルスを保有している人を陽性と判定する確率です。感度を上げるということは偽陰性を少なくすることにつながります。疾患がある人を正しく疾患ありと診断できるかを表す指標で、感度が高い検査は除外診断に有用です。感度は「再現率」(Recall)ということもあります。

一方で「特異度」(Specificity)はウイルスを保有していない人に対して正しく陰性と判定する確率です。特異度を上げることは偽陽性を少なくすることにつながります。疾患がない人を正しく健康と診断できるかを表す指標で、特異度が高い検査は確定診断に有用です。感度と特異度はトレードオフの関係にあります。偽陽性を減らそうとすれば陰性診断が増え、偽陰性が増える、逆もまたしかりです。

仮説検定の話題に戻りますが、ネイマン・ピアソン流の仮説検定ではまずサンプルサイズを決定します。これは実験を開始する前に行うもので、実験を開始してデータが集まってから変えるなどというものではありません。というのもサンプルサイズによって仮説が棄却されるかされないかが変わるためです。そのため実験を開始して間もないうちは有意ではないが、時間が経過すると有意になるというということはあります。たとえばクリック率を検定する場合、表示回数100回では有意ではないが表示回数10000回では有意に出ることはあるのです。サンプルサイズを事後的に決めてしまうと結論を変えることができるため、事前に決めておくのです。

そして有意かどうかの判定では、違いの有無を判定することはできますが、違いに実質的な意味があるか(効果があるか、インパクトがあるか)は教えてくれません。たとえば学校である群に補習を行った結果を100点満点のテストで評価するとき、その補習しなかった群と違いはあったが1点しか変わらなかったということであれば、その施策に意味があるのでしょうか?当然人数が多ければ有意には出ます。

だから単純にp値※だけに着目して有意かどうかを見るだけでは不十分で、サンプルサイズに影響されない違いの大きさ、効果の大きさを表す効果量(effect size)という指標を導入します。この効果量というのは、その検定で何を比較したいのか(相関係数なのか、平均値の差なのか→t検定、比率の差なのか→カイ2乗検定、…)ごとに決まったものがあります。興味のある方は以下のリンクを参照するといいです。

効果量と検定力分析入門 : 統計的検定を正しく使うために

またp値と有意水準だけを見ても第1種の過誤については語ってくれます(間違って「AはBより優れている」とは言わない)が、第2種の過誤については教えてくれません。つまり「Aのほうが優れているときにAを優れている」と判定できるかは別問題です。この「Aが優れているときにAを優れていると判定できる確率を検出力(Power)といいます。

先ほど「感度と特異度はトレードオフの関係にあります」と言いました。つまり有意水準と検出力がトレードオフの関係にあるということですが、これはサンプルサイズが一定の時で、実際には希望する有意水準と検出力を担保するためにサンプルサイズを決定するという手順があるのです。そして効果量(サンプルサイズを無視した、2群の違いを表す指標)の閾値を設定し、それを加味してサンプルサイズが決定されます。有意水準、検出力、効果量(の閾値)、サンプルサイズの4つは、いずれか3つが与えられると残りの1つも定まります。他の変数を固定すると、有意水準が大きくなるとサンプルサイズは小さくなる。検出力が大きくなるとサンプルサイズは大きくなる。効果量が大きくなるとサンプルサイズは小さくなるという関係があります。

※p値:「AとBの間に差がない」と仮定したときに、今の結果が起こるのがどのくらいレアであるかを表す確率(前回のコラム参照)

コラム担当スタッフ

柳井 隆道

Option合同会社
代表社員
マーケティングテクノロジスト
marketechlabo

東京大学を卒業後、webマーケティングやサービス企画、システム開発などに従事。
デジタルマーケティングの世界に落ち着き、事業会社、広告代理店を経て2014年に独立。
現在は大小さまざまの事業会社、広告代理店などに対して、テクノロジー観点からデジタルマーケティングの支援を行っている。データ計測の設計、実装から分析、マーケティングオートメーションや広告運用などの施策との連携まで扱う。
さまざまな規模の経験から、企業の身の丈にあったデジタルマーケティングの企画に強い。フリーランスで活動していたが、2017年から法人化。

一つ前のページに戻る

a2i セミナー風景イメージ

あなたも参加しませんか?

「アナリティクス アソシエーション」は、アナリティクスに取り組む皆さまの活躍をサポートします。会員登録いただいた方には、セミナー・イベント情報や業界の関連ニュースをいち早くお届けしています。

セミナー・イベント予定

予定一覧へ

コラムバックナンバー

  • 【コラム】便利な分析用データベース、見つけたよ

    Option合同会社 柳井 隆道
    発信元:メールマガジン2022年5月11日号より

    技術の進歩はすさまじいもので、1年もすれば新しいソリューションが数多く生まれてきます。以前はできなかったことが、新しいソリューションによって …

  • 【コラム】学びはどんどん発信して加速していこう

    アナリティクスアソシエーション 大内 範行
    発信元:メールマガジン2022年4月27日号より

    早稲田大学の社会人向け「デジタル時代の総合マーケティング講座」で、吉野家の講師に差別的な発言があった、というニュースが私たちの関心を奪いまし …

  • 【コラム】DAO型分析プロジェクトは成果をあげるか

    株式会社Rejoui 菅 由紀子
    発信元:メールマガジン2022年4月20日号より

    暗号資産(仮想通貨)やNFT(非代替性トークン)、DAO(分散型自律組織)などWeb3.0?と位置づけられるトピックを目にすることが増えてき …

バックナンバー一覧へ