arXiv 2610.20424
BizBench: Làm rõ những thách thức ẩn khi triển khai tác nhân tác vụ dài hạn cho kinh doanh thực tế
BizBench: Unveiling Hidden Challenges in Deploying Long-Horizon Agents for Real-World Business
AI107 lượt đề xuất
Tác giả: Enhan Zhao, Yongqi Tong, Xuejun Yu, Hang Wang, Pan Wang, Yichao Wang, Di He, Jianshe Li +1
Tổng quan
Các tác giả giới thiệu BizBench, một benchmark nhiều lượt được xây dựng từ quy trình thực tế của một công ty thanh toán hàng đầu, với môi trường thực thi gồm 789 tài liệu kiến thức và 601 công cụ kinh doanh có thể khám phá. Benchmark gồm 50 tác vụ liên quan đến ràng buộc tài nguyên, phụ thuộc thời gian, cam kết trước đó và hướng dẫn mâu thuẫn hoặc lỗi thời, và các kiểm tra mang tính xác định đánh giá cả mức độ đạt mục tiêu lẫn tính hợp lệ của quá trình thực thi.
Giới thiệu
Các benchmark hiện có cho tác nhân tác vụ dài hạn chủ yếu chấm điểm kết quả cuối cùng và ít đánh giá tính hợp lệ của các bước trung gian. Trong các nghiệp vụ như thanh toán, một vi phạm giữa chừng có thể gây thiệt hại tài chính hoặc hậu quả pháp lý dù kết quả cuối cùng đúng.
Kết quả
Ngay cả các mô hình hàng đầu cũng chỉ đạt tỷ lệ thành công nghiêm ngặt 64.0% (Claude Opus 5) và 61.3% (GPT-6 Sol). Qwen3.8-27B đạt 42.0% tỷ lệ hoàn thành mục tiêu nhưng tỷ lệ thành công nghiêm ngặt chỉ 32.7%, cho thấy đánh giá chỉ dựa trên kết quả có thể che giấu việc thực thi không hợp lệ.
Kết luận
BizBench cung cấp một môi trường thử nghiệm để đo xem tác nhân có hoàn thành tác vụ kinh doanh một cách đáng tin cậy và tuân thủ ràng buộc hay không, chứ không chỉ là có hoàn thành hay không.