Cohen's κ​（カッパ）​/ Krippendorff's α​（アルファ）​— 評価者間一致度の​測り方

一言で​言えば、​複数の​評価者が​同じ​対象を​評価した​とき、​偶然の​一致を​超えて​どれだけ​一致しているかを​示す指標である。

なぜ重要か

手動アノテーション​（＝AIの​回答が​「正解」か​「不正解」かを​人が​判定して​ラベルを​付ける​作業）では、​評価者が​変わると​結果も​変わる。​生の​一致率だけでは​偶然に​よる​一致まで​「合意」と​して​過大評価してしまう​ため、​偶然一致を​補正した​指標が​必要に​なる。​これが​なければ、​「正確性スコア」の​信頼性は​そもそも​成り立たない。

Cohen's κ​（カッパ）

対象は​評価者2名、​名義尺度​（＝カテゴリで​判定する​尺度）である。

算式: κ = (P_o − P_e) ÷ (1 − P_e)。​P_o は​実測の​一致率、​P_e は​偶然に​よる​期待一致率である。

判断基準​（Landis & Koch 1977）​: 0.21–0.40=まず​まず、​0.41–0.60=中程度、​0.61–0.80=実質的一致、​0.81以上​=ほぼ完全一致。

Krippendorff's α​（アルファ）

対象は​評価者3名以上で、​欠損データを​扱え、​名義・順序・間隔・​比率​（レシオ）​尺度の​いずれにも​対応する​汎用版である。

目安: α ≥ 0.80 で​「結論を​信頼して​よい」、​≥ 0.667 で​「暫定的な​議論に​と​どめる」​（Krippendorff 2004）。

ai-searchのように​尺度が​混在する​評価では、​Cohen's κより​αを​使う​ほうが​安全である。

具体例

12指標の​AI検索評価の​正確性スコアでは、​100問に​対して​3名の​評価者が​「key_facts​（重要事実）が​含まれているか」を​独立に​判定する。

実測一致率0.90、​偶然期待値0.50 → κ = 0.80​（実質的一致）。​これに​より​採点ロジックが​安定していると​言える。

ai-searchプロジェクトでの​使い方

• DoD​（完了の​定義）​カテゴリE-1​（​信頼性）は、​κ ≥ 0.70 または​ α ≥ 0.667 を​最低基準と​して​要求する。
• 事実確認・ブランド言及・鮮度の​判定は​2〜3名の​評価者が​並行して​採点し、​κまたは​αを​毎週報告する。

統計設計の​全体​像に​ついてはCohen's dと​合わせて​読むと​よい。

出典・参考

• Landis & Koch, "The measurement of observer agreement for categorical data", Biometrics 1977 — 論文
• Klaus Krippendorff, "Content Analysis: An Introduction to Its Methodology"​（Sage、​2004年）​— 書籍
• DoD Framework v1.0 — GMO ai-search docs/dod-framework-v1-2026-05-28.md — 社内文書