arXiv 2610.20424
BizBench：実世界のビジネスで長期的タスク実行エージェントを展開する際の隠れた課題の明明化
BizBench: Unveiling Hidden Challenges in Deploying Long-Horizon Agents for Real-World Business
AI推薦107
著者: Enhan Zhao, Yongqi Tong, Xuejun Yu, Hang Wang, Pan Wang, Yichao Wang, Di He, Jianshe Li +1
概要
著者らは、大手決済会社の実際の業務手順に基づくマルチターンのベンチマークBizBenchを紹介します。実行可能な環境には789の知識文書と601の検索可能なビジネスツールが含まれ、リソース制約、時間的依存関係、既存のコミットメント、矛盾または古くなったガイダンスを扱う50のタスクで構成されます。決定論的なチェックにより、目標達成と実行の妥当性の両方を評価します。
はじめに
既存の長期的タスク実行エージェントのベンチマークは、主に最終的なタスク成功を評価し、途中の実行が妥当であったかについてはほとんど評価していません。決済のような業務では、最終結果が正しくても途中の違反が金銭的損失や規制上の問題を招く可能性があります。
結果
最先端のモデルでも、厳密な成功率はClaude Opus 5が64.0%、GPT-6 Solが61.3%にとどまります。Qwen3.8-27Bは目標達成率が42.0%ですが、厳密な成功率は32.7%に低下し、結果のみの評価では無効な実行が見落とされうることを示しています。
結論
BizBenchは、エージェントがタスクを完了するかだけでなく、制約を守って信頼性高く実行するかを測定するためのテストベッドを提供します。