マルチホップ実タスクベンチマーク — FRAMES / BrowseComp

マルチホップ​（＝複数の​事実・制約を​またいで​初めて​答えに​至る​問題）は、​単純な​一問​一答では​見えない​エージェントの​真の​能力差を​露わに​する。

マルチホップとは

マルチホップの​問題は、​単一の​事実を​取得するだけでは​解けない。​エージェントは​複数の​検索・推論ステップを​連鎖させる​必要が​あり、​この​性質ゆえに​エージェントの​実力を​測る​ベンチマーク​（＝評価指標）と​して​使われる。

代表的な​ベンチマーク

Googleが​2024年に​発表した​FRAMESは、​複数文書を​またいだ​事実性・検索・推論を​一括で​評価する。​OpenAIが​2025年に​発表した​BrowseCompは、​エージェントが​実際に​Webを​閲覧して​難情報を​特定する​ハードタスクである。

マルチホップが​有益な​理由

一問​一答​形式の​ベンチマークは​すでに​飽和しており、​上位モデルは​ほぼ同スコアと​なって​差が​つかなくなっている。​一方、​複数段階に​わたる​タスクは​2026年時点でも​依然と​して​モデル間の​差を​示す。​加えて、​単一の​正答率だけでなく、​完了率・ステップ数・失敗箇所・​使用ソースの​質と​いった​指標を​定量化できる。

実務上の​利点

日本語かつ業界特化の​マルチホップベンチマークセットを​構築する​こと自体が​学術的権威を​得る​手段に​なり、​抽象的な​テストではなく​実ビジネスの​文脈での​エージェント能力を​明確に​可視化できる。

マルチホップベンチマークは、​2026年時点で​「流暢なだけ」の​エージェントと​「本当に​有能」な​エージェントを​区別する​唯一の​信頼できる​手段だ。