arXiv 2610.23787
DLite: Giải mã suy đoán không phụ thuộc lịch sử cho AI tác nhân
DLite: History-free Speculative Decoding for Agentic AI
AI18 lượt đề xuất
Tác giả: Jiaming Xu, Hanzhen Wang, Tianlang Zhao, Jiewen Xiao, Chengze Yuan, Jiayi Pan, Yongkang Zhou, Jiancai Ye +2
Tổng quan
Các tác giả đề xuất DLite, một khung giải mã suy đoán cho AI tác nhân, tái sử dụng trạng thái ẩn từ mô hình đích và dự đoán cục bộ mà không lưu trữ ngữ cảnh lịch sử ngày càng dài. Một đầu tuần tự nhẹ khôi phục các phụ thuộc nhân quả trong từng khối, và một chiến lược huấn luyện hai giai đoạn được thiết kế riêng được dùng để huấn luyện kiến trúc này.
Giới thiệu
Giải mã suy đoán giúp tăng tốc suy luận LLM, nhưng các tác vụ tác nhân với ngữ cảnh dài, liên tục thay đổi và nhiều lượt tương tác khiến các mô hình nháp hiện có giảm độ dài chấp nhận tới 80%, trong khi việc giữ bộ nhớ đệm KV lịch sử lại gây thêm chi phí hệ thống đáng kể.
Kết quả
DLite đạt độ dài chấp nhận 2-6 và vượt trội so với phương pháp hiện đại DSpark tới 70%. Kết quả này được ghi nhận trên các tác vụ đa mục đích, ngữ cảnh dài và tác nhân.
Kết luận
Loại bỏ sự phụ thuộc vào lịch sử ngày càng tăng giúp giải mã suy đoán trở nên thiết thực cho các hệ thống AI tác nhân.