AI検索評価指標 ④ — 回答長

回答長とは、​AI検索エンジンが​返す回答テキストの​平均文字数​（日本語コードポイント数＝文字を​数える​最小単位）を​示す指標であり、​各エンジンの​説明スタンス​（＝どれだけ詳しく​説明する​傾向が​あるか）を​表し、​精度や​レイテンシ（＝応答に​かかる​時間）との​トレードオフ分析に​用いる。

なぜ重要か

回答が​長すぎると​ユーザーは​読み飛ばして​離脱し、​短すぎると​情報密度が​低下する。​回答が​長いほど​誤情報が​混入しやすく、​これは​③正確性との​トレードオフに​当たる。​回答長は​⑧レイテンシとも​弱い正の​相関を​持ち、​HELM​（Liang et al. 2023、​＝言語モデルの​包括的評価ベンチマーク）でも​補助指標と​して​記録されている。

計算式

回答長は、​各回答の​文字数の​合計を​回答数で​割って​算出する。​トークン数​（＝AIが​処理する​文章の​最小単位）ではなく​日本語コードポイント数で​測定し、​半角英数字も​1文字と​して​数える。

エンジン別の​比較例​（仮想値）

仮想の​比較例では、​ChatGPT Searchが​約850字で​中程度、​Gemini Proが​約1,400字で​冗長だった。​AI Overviewは​約320字にとどまり、​SERP​（検索結果​ページ）​上で​読み切れる​ほど​コンパクトである。​AI Overviewの​短さは​①引用率の​低さとも​弱い正の​相関を​示している。

ai-searchプロジェクトでの​活用

全6​00問を​対象に​計測し、​エンジン × 意図カテゴリ別に​分布を​確認する。​ファクト系クエリは​短く、​比較系クエリは​長くなる​傾向が​あり、​これは​意図に​依存する。​回答長は​C4​「エージェントタスク完了忠実度」の​前提条件と​して​機能するが、​単独の​構成概念と​しては​扱わない。

回答長は​補助シグナルであり、​精度・レイテンシと​組み合わせて​各エンジンの​説明スタンスを​把握する​ために​使う。