Cohen's d​（コーエンの​d）​— 効果量を​測る

一言で​言えば、​Cohen's d とは、​2群の​平均差を、​両群を​合わせた​標準偏差​（プールされた​標準偏差）で​割る​ことで​「差の​大きさ」を​無次元の​数値と​して​表す指標である。

なぜ重要か

p値だけを​見ていると、​「統計的に​有意」と​「実務的に​意味が​ある」は​別物に​なる。​サンプルサイズが​大きければ、​ごく​些細な差でも​ p < 0.05 に​達してしまう。​Cohen's d は​ p値とは​独立に、​差が​どれだけ​大きいかを​示す。

12指標の​AI検索評価の​作業では、​エンジンAと​エンジンBの​引用率に​差が​ある​場合、​d=0.2は​「差が​あるか​どうかも​判断しづらい」​水準で​あり、​d=0.8は​「明確に​異なる」水準と​して​読む。

計算式

d = (M₁ − M₂) ÷ SD_pooled

ここで​ SD_pooled は​2群を​合わせて​プールした​標準偏差である。

慣習的な​解釈​（Cohen 1988）

dの​絶対値	意味
0.2	小​（small）
0.5	中​（medium）
0.8	大（large）

ただし基準は​分野に​依存する。​教育や​医療の​分野では​0.3でも​大きいと​される。​LLM​（大規模言語モデル ＝ 大量の​テキストで​学習した​言語処理モデル）​評価では、​0.5でも​実装判断の​根拠と​しては​弱いと​される。

具体例

エンジンAの​平均引用数が​8.0、​エンジンBが​5.0、​共通の​SDが​3.0の​場合、​次のようになる。

d = (8.0 − 5.0) ÷ 3.0 = 1.0 → 大

これは​「Aの​ほうが​明確に​引用数が​多い」と​言えるだけの​大きさである。

ai-searchプロジェクトでの​使い方

• DoD​（Definition of Done ＝ 完了の​定義）​フレームワークC-1​（統計的検出力）のもとで、​検出力0.80で​d=0.5を​最小サブグループごとに​検出できる​サンプルサイズを​事前計算する​根拠と​して​使われている。
• 12指標すべての​エンジン間比較は​Cohen's dとともに​報告される​予定である​（Phase B-2）。

出典・参考

• Statistical Power Analysis for the Behavioral Sciences (2nd ed.) — Jacob Cohen​（Lawrence Erlbaum、​1988年）​— 書籍
• DoD Framework v1.0 — GMO ai-search docs/dod-framework-v1-2026-05-28.md — 社内文書