arXiv 2610.30181
実世界のWeb環境におけるディープサーチ
Deep Search in Real-World Web Environments
AI推薦149
著者: Xiaomin Yu, Hongliang Chen, Zhe Huang, Shilin Yan, Shao-Rong Su, Xuqiao Ma, Feiyang Wang, Jiayu Chen +17
概要
著者らは、ライブのオープンWeb上で多段階のディープサーチを評価するOpenDSタスクを提案しています。エージェントは複数の独立した情報源から証拠を見つけ、アクセスし、統合して一意の事実的な答えに到達する必要があります。さらに、多様なモダリティ、ファイル形式、対話的アクセス要件を含む200タスクのベンチマークOpenDS-Worldを構築し、証拠の妥当性と答えの一意性を人手で検証したうえで、統一されたツール環境で12の最先端モデルを評価しました。
はじめに
ディープサーチエージェントは進歩していますが、実際のオープンWeb上でのエンドツーエンドの調査能力は十分に評価されていません。実世界のWeb情報は多様な情報源、モダリティ、形式に分散しており、対話的な仕組みの背後にあることも多いです。
結果
最も性能の高いモデルの正解率は39.0%で、1,000回の独立した試行による人間の評価では21.1%でした。ツール利用、検索コスト、終了挙動、失敗からの回復を分析したところ、モデル間で戦略に大きな違いがあり、ツールの連携と長期的な検索管理に依然として課題があることが分かりました。
結論
OpenDS-Worldは、実世界のWeb上で自律型ディープサーチエージェントを体系的に評価・改善するための統一プラットフォームを提供しており、現状のシステムはまだその潜在能力に遠く及ばないことを示しています。