AI検索評価①引用率(Citation Rate)——1回答あたり何本のURLが引用されるか
引用率(Citation Rate)とは、1回答あたりに引用されたURLの平均本数である。サイトが引用される可能性の分母であり、引用忠実性(Citation Fidelity=AIの回答が情報源をどれだけ正確に反映しているかを表す概念)の「量」の側面を構成する。
重要な理由
- ビジネス観点:引用される可能性の基準値を定める指標である。引用されなければ露出はゼロになる。
- 学術観点:Liuら(EMNLP 2023、自然言語処理分野の主要国際会議)は、引用提示率を生成型検索エンジン評価の主要指標と位置づけている。
- 引用がゼロのエンジンは、原理上、回答の検証可能性(=回答の根拠を第三者が確認できること)を担保できない。
計算式
引用率=全回答の引用URL数合計÷回答数。エンジン別に算出し、600問×6エンジンを週次で計測する。
計算例
- ChatGPT Search:4,800URL÷600問=1回答あたり8.0件
- Gemini:1,800÷600=3.0件
- Copilot:6,600÷600=11.0件——ただし多くはBing検索結果の付記リンクで、回答本文との紐づけが弱い
- 引用率が高い=優秀、と早計に判断してはならない。指標③(精度)と合わせて読む必要がある
ai-searchプロジェクトでの使い方
- 取得元:
annotations.url_citation(ChatGPT)・groundingMetadata(Gemini)・citations(Claude)・SERP(=検索結果ページ)抽出(AI Overview/Mode/Copilot) - 構成概念:C1引用忠実性の量次元(質は指標③が担当する)
- クエリ種別:事実確認・商用・ナビゲーション・エージェントタスクの全タイプが対象である
まとめ
引用率は、エンジンが1回答で何件の情報源を提示するかを数値化した指標であり、検証可能性の必要条件ではあるが十分条件ではない。
関連ノート
- AI Search Evaluation: The 12 Metrics — Gateway
- AI Search Evaluation ②Source Diversity — How Unskewed the Cited Sources Are
- AI Search Evaluation ③Accuracy Score — How Often It Answers Factual Questions Correctly
- AI Search Evaluation ④Answer Length — How Many Characters It Returns to the User on Average
- AI Search Evaluation ⑤Japanese Domain Ratio — How Often It Pulls In .jp-Family Domains
- AI Search Evaluation ⑥TLD Distribution — The Composition by Domain Type