AI検索評価 ⑪ 鮮度(Freshness)— 引用コンテンツの新しさ
鮮度とは、引用元コンテンツの公開日(または最終更新日)から観測時点までの経過日数を指す指標である。値が小さいほど新しい情報を引用していることを意味し、AI検索エンジンの時系列品質を測る主要指標となる。
重要な理由
- 統計・キャンペーン・法令改正のような時変情報(=時間とともに内容が変わる情報)を扱う業界では、古いソースの引用が即座に的外れな回答を生む。
- 鮮度が低いエンジンを利用するクライアントには、引用され続けるために新規記事を頻繁に公開するよう推奨する必要がある。
- この指標は、時間的な質問応答を扱う研究であるTimeQA(Chen et al. 2021年)とStreamingQA(Liska et al. 2022年)を実務に応用したものである。
計測方法
- 鮮度(経過日数) = 観測時点 − 引用元コンテンツの公開日/最終更新日。
- エンジンごとに分布(中央値・p25・p75)として集計する。
- 中央値30日以内であれば高鮮度、中央値1年超であれば低鮮度と判定する。
- ground_truth.last_verified との一致についても、match(一致)・newer(新しい)・older(古い)の3値で分類・集計する。
計算例(仮想シナリオ・時変フレーズを含む35問)
- ChatGPT Search:中央値45日で最も新しい。
- Gemini:中央値80日。Claude:中央値120日。
- AI Overview:中央値210日(約7か月前)。「最新」を問うクエリでも6か月以上前の記事を引用するケースが多い。
- 当期の IR(=投資家向け広報。Investor Relationsの略)データや年度数値を、AI Overviewが古いまま提示し続けるリスクが特に高い。
ai-searchプロジェクト内での位置づけ
- 78問の事実静的設問のうち時変フレーズを含む推定30〜40問、およびTrack A(時間的鮮度カテゴリ)に適用する。
- 構成概念C5「Temporal Freshness Tracking(時間的鮮度追跡)」の主要指標である。
- エンジン横断の日次縦断計測(=同一対象を継続して追跡する調査手法)と最も相性が良い指標である。
鮮度(経過日数)は、AIエンジンが現実世界の変化に追いついているかを示す最も鋭い単一指標である。
関連ノート
- AI Search Evaluation: The 12 Metrics — Gateway
- AI Search Evaluation ①Citation Rate — How Many URLs Are Pulled In Per Answer
- AI Search Evaluation ②Source Diversity — How Unskewed the Cited Sources Are
- AI Search Evaluation ③Accuracy Score — How Often It Answers Factual Questions Correctly
- AI Search Evaluation ④Answer Length — How Many Characters It Returns to the User on Average
- AI Search Evaluation ⑤Japanese Domain Ratio — How Often It Pulls In .jp-Family Domains