引用一貫性 (Citation Consistency)
一言定義: 前週と今週で同じクエリに対し引用されたドメインの Jaccard 類似度。
なぜ重要か
- ビジネス側: AI 検索の「ランキング揺らぎ」を捉える指標。一貫性が高いエンジンは施策の効果が読みやすい（安定 SERP に近い）。低いエンジンは打ち手の結果検証が難しい（ノイズが大きい）。
- 学術側: test-retest 信頼性 (Cohen 1988) の応用。Krippendorff's α も併用可能。エンジンの retrieval policy が trait なのか state なのかを判別する材料になる。
計算式
一貫性 = |Domains_週N ∩ Domains_週N+1| ÷ |Domains_週N ∪ Domains_週N+1|
クエリごとに計算して平均化。エンジン × クエリ単位の値も後で見る。
時系列に拡張する場合は連続週の Jaccard 系列を作って variance を見る。
具体例
仮想シナリオ（factual-static の同じ 77 問を 2 週連続で）:
- ChatGPT Search: 0.78（高安定）
- Gemini: 0.65
- AI Overview: 0.42（毎週入れ替わりが激しい）
- Copilot: 0.71
AI Overview の 0.42 は「先週引かれていたドメインの 6 割は今週には引かれない」。クライアント施策の効果検証では、AI Overview だけ 4 週連続データを取って分散補正する必要がある。
関連学術文献
- Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. Lawrence Erlbaum.
- DoD framework v1.0 (GMO 内部) E-1 Reliability 観点。
ai-search プロジェクト内での運用
- 対象クエリ: 毎日 (Daily) 縦断観測の対象クエリ全件。週次でロールアップ
- 集計: エンジン × intent カテゴリ × 週で Jaccard を算出。trend chart で揺らぎ可視化
- 構成概念: C2 Source Trustworthiness Bias の 時間安定性側面。state vs trait の判別にも使う
参考・引用元
- ドキュメント: 「研究グレード AI検索クエリセット DoD フレームワーク」— GMO ai-search docs/dod-framework-v1-2026-05-28.md（E-1 Reliability）
- ドキュメント: 「構成概念 5 つの定義」— GMO ai-search docs/a1-construct-map-2026-05-29.md
- 書名: 「Statistical Power Analysis for the Behavioral Sciences (2nd ed.)」— Jacob Cohen（Lawrence Erlbaum, 1988）
2026-05-30 作成。AI検索評価12指標シリーズ ⑩。