arXiv 2610.09872
LiveMACE: Đánh giá năng lực tác tử LLM có nhận biết quá trình trong thị trường biến động
LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets
AI40 lượt đề xuất
Tác giả: Jun Zhao, Leiming Fu, Yanbo Wen, Yiding Wang, Xuantong Liu, Yang Shu, Yuyang Lu, Xuanran Xing +4
Tổng quan
Các tác giả xây dựng LiveMACEBench, một bộ benchmark sử dụng thị trường tài chính thời gian thực để kiểm tra các tác tử LLM bền bỉ. Năm LLM hàng đầu hiện nay đã chạy các quỹ đạo liên tục trong 30 ngày, với cấu hình tương đương về Sử dụng công cụ, Bộ nhớ bền vững, Tuân thủ quy tắc và Hợp tác đa tác tử. Mỗi tác tử được đánh giá qua kết quả thực tế và các chẩn đoán theo từng cơ chế, lấy từ toàn bộ nhật ký quyết định.
Giới thiệu
Chỉ đánh giá tác tử qua kết quả có thể che khuất những năng lực tạo ra kết quả đó, và vấn đề này đặc biệt rõ rệt trong môi trường biến đổi, nơi kết quả phản ánh tương tác khép kín với các điều kiện bên ngoài thay đổi.
Kết quả
Phát hiện quan trọng nhất là khoảng cách rõ rệt giữa kết quả và năng lực: lợi nhuận thực tế thường lệch khỏi các phép đo theo từng năng lực, và các kết quả tương tự có thể đến từ những kiểu sử dụng cơ chế rất khác nhau. Chẩn đoán ở cấp nhật ký cũng cho thấy các nút thắt khác nhau giữa các năng lực, cho thấy khả năng tiếp cận cơ chế, việc sử dụng cơ chế hiệu quả và hiệu suất hạ nguồn không thể thay thế cho nhau.
Kết luận
LiveMACEBench biến thị trường thời gian thực từ bảng xếp hạng hiệu suất thành môi trường chẩn đoán, giúp đo lường được sự khác biệt này ở năng lực tác tử.