AI検索評価：12指標の​全体​像

GMO AIサーチラボでは、​ChatGPT Search・Gemini・Google AI Overview・AI Mode・Copilot・Claudeの​6つの​AI検索エンジンを、​600問の​バランスの​取れた​クエリセットで​比較する。​この​比較には​12の​観測指標を​用い、​各指標は​5つの​潜在構成概念​（ラテント・コンストラクト＝直接観測できないが​指標を​通じて​間接的に​測る​概念）の​いずれかに​対応づけられている。

12指標の​概要

• 指標1〜8は、​Princeton GEOベンチマークや​HELMなど、​先行研究ですでに​確立されている​標準的な​指標である。
• 指標9〜12は​GMOが​独自に​追加した​もので、​ブランド言及率・引用​一貫性・鮮度・DA相関​（ドメインオーソリティと​引用頻度の​相関）から​成る。
• 各指標は、​1つまたは​複数の​潜在構成概念​（C1〜C5）の​「観測可能な影」と​して​機能する​観測変数である。

構成概念との​対応マップ

• C1 引用​忠実性は、​引用率​（指標1）と​正確性スコア（指標3）から​構成される。
• C2 情報源​信頼性バイアスは、​多様性​（指標2）​・​日本ドメイン比率​（指標5）​・TLD分布​（指標6）​・​一貫性​（指標10）​・DA相関​（指標12）の​5つから​構成される。
• C3 ブランド可視性は​ブランド言及率​（指標9）から、​C4 タスク完遂は​回答長​（指標4）と​レイテンシ（＝応答までの​遅延時間、​指標8）から、​C5 鮮度は​鮮度指標​（指標11）から​それぞれ構成される。

成果物ごとの​活用方​法

• 週次レポートでは、​12指標すべてを​6エンジン×セクター別に​集計する。
• クライアント向け成果物では、​ブランド言及率・引用重複率・DA相関の​3点セットを​中心に​報告する。
• 学術プレプリントでは、​仮説H1〜H6を​通じて​ノモロジカル・ネットワーク​（＝構成概念どうしの​理論的な​関係網）の​妥当性を​検証する。

理解に​必要な​周辺概念

• Jaccard類似度​（＝2つの​集合が​どれだけ重なっているかを​示す指標）は、​引用重複度​（指標7）と​引用​一貫​性​（指標10）の​算出に​使う。
• Cohen's d​（効果量）​・κ​（カッパ係数）​・Krippendorff's α​（クリッペンドルフの​アルファ係数）は、​エンジン間の​効果量と​アノテーション​（＝人手での​ラベル付け）の​評価者間​信頼性を​測定する​ために​使う。
• ノモロジカル・ネットワーク​（nomological network＝構成概念​妥当性を​検証する​ための​理論的関係​網）は、​C1〜C5と​12指標を​結びつける​妥当性の​論拠と​なる。

この​整理で​押さえるべき点は、​「12の​観測指標」と​「5つの​潜在構成概念」を​混同しない​ことである。​指標は​計測器であり、​構成概念は​その​計測器が​測ろうと​している​能力​その​ものである。