AI検索評価 ⑧ レイテンシ（Latency）​— 平均応答秒数で​測る​スピード指標

レイテンシ（＝APIリクエストから​最終応答を​受け取るまでの​平均秒数）は、​ユーザー体験を​左右する​直接指標であると​同時に、​複数の​処理段階を​経由する​マルチホップ​（＝1回の​処理で​複数の​情報源・段階を​経る​こと）の​エージェント型タスクが​成立する​ための​前提条件でもある。

なぜ重要か

• ビジネス面では、​AI検索が​SERP​（＝検索結果​ページ。​Search Engine Result Pageの​略）に​対して​持つ​優位性は​速さに​ある。​応答に​10秒かかれば、​ユーザーは​離脱する。
• 学術面では、​レイテンシが​高いと​マルチホップの​エージェントタスク​（指標C4​「エージェントタスク完遂率」）で​タイムアウトが​発生し、​コスト予算を​超過しやすくなる。
• HELM​（＝大規模言語モデルを​包括的に​評価する​フレームワーク。​Holistic Evaluation of Language Modelsの​略）も、​精度指標と​並ぶ効率指標と​して​レイテンシを​採用している。

計算式と​報告方​法

• レイテンシ ＝ 応答秒数の​合計 ÷ リクエスト数。
• 外れ値の​影響を​見る​ため、​p50​（中央値）と​p95（上位5%境界値）を​分けて​報告する。
• タイムアウトは​件数と​割合を​別枠の​タイムアウト率と​して​集計・報告する。

仮想シナリオ例

• ChatGPT Search​（gpt-4o-mini）​：平均3.2秒 / p95 5.1秒。
• Gemini 2.5 Flash：平均2.8秒 / p95 4.4秒。
• Claude Opus 4.6​（WebSearch）​：平均8.5秒 / p95 14.2秒 —— 精度との​トレードオフと​して​解釈する。
• AI Overview​（SERPスクレイプ＝検索結果​ページを​抽出する​方​式）​：SERP取得時間込みで​4.0秒。

プロジェクト内での​扱い

• 対象クエリ全6​00問に​ついて、​コレクタースクリプト​（＝計測用に​自作した​収集プログラム）で​ミリ秒精度で​計測する。
• SERPスクレイプ系エンジンは、​Bright Data​（＝Webデータ収集サービス）に​よる​取得時間も​計測に​含める。
• 単独の​構成概念​（construct）と​してではなく、​C4​「エージェントタスク完遂率」の​前提条件と​して​位置づける。

p50・p95・タイムアウト率は​必ずセットで​報告する。​レイテンシは​UX​（＝ユーザー体験）の​関門であると​同時に、​エージェント型タスクの​成立条件でもある。