ソース多様性(Source Diversity)— 引用元の偏りを測る指標
ソース多様性とは、ユニークドメイン数を総引用数で割った値であり、0から1の範囲を取る指標だ。1に近いほど多様なサイトから引用していることを示し、低い値は特定ドメインへの偏重(concentration=集中)を示す。
なぜ重要か
ビジネス観点では、低い値はエンジンがWikipedia(ウィキペディア)や大型アグリゲーター(=複数の情報源を集約して配信するサイト)を優遇している証拠であり、自社サイトが引用される確率を下げる。学術観点では、検索エンジンの取得ポリシー(=どの情報源を優先して取得するかの方針)のバイアスを反映しており、Yang et al.(2025)はプロバイダー内の引用類似度が0.82〜0.99に達すると報告している。この指標はC2「ソース信頼性バイアス」の逆指標であり、多様性が低いほど特定ソースへの依存が高いことを意味する。
計算式と具体例
計算式はユニークドメイン数を総引用数で割るというものだ。たとえば引用100件のうちユニークドメインが80件であれば0.80となり多様と判定され、引用50件のうちユニークドメインが12件であれば0.24となり偏重していると判定される。
実測例(600問での比較)
600問を対象にした実測では、Geminiが1,800引用に対し900ユニークドメインで0.50となり最も多様だった。Claude WebSearchは3,600引用に対し1,200ユニークドメインで0.33となり、1ドメインが平均約3回引用される計算になる。Copilot(Bing)は6,600引用に対し800ユニークドメインで0.12にとどまり、Wikipediaや大手SEOサイトへの集中が顕著だった。
プロジェクトでの使用方法
この指標はai-search評価プロジェクトの全600クエリを対象に計測し、エンジン × 業種(10セクター)でクロス集計することで、セクターごとの引用偏重を観察する材料としている。
ソース多様性は、AIサーチエンジンが引用元をどれだけ広く分散させているかを1つの数値で示し、支配的ドメインへのアルゴリズム的バイアスを可視化する指標である。
関連ノート
- AI Search Evaluation: The 12 Metrics — Gateway
- AI Search Evaluation ①Citation Rate — How Many URLs Are Pulled In Per Answer
- AI Search Evaluation ③Accuracy Score — How Often It Answers Factual Questions Correctly
- AI Search Evaluation ④Answer Length — How Many Characters It Returns to the User on Average
- AI Search Evaluation ⑤Japanese Domain Ratio — How Often It Pulls In .jp-Family Domains
- AI Search Evaluation ⑥TLD Distribution — The Composition by Domain Type