arXiv 2610.29545
PACE: Mã hóa theo chu kỳ và căn chỉnh kênh cho trạng thái hồi quy 4-bit
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
AI19 lượt đề xuất
Tác giả: Patrick Haller, Filipe Laitenberger, Alan Akbik
Tổng quan
Các tác giả đề xuất PACE, một bộ lượng tử hóa 4-bit áp dụng sau huấn luyện cho trạng thái hồi quy của các mô hình ngôn ngữ attention tuyến tính. PACE chỉ làm tròn trạng thái sau mỗi vài token được sinh ra, lưu các token trung gian trong bộ đệm, và dùng chung một hệ số lượng tử cho mỗi cột vì các giá trị lớn của trạng thái gated-delta tập trung theo cột; các head giữ lại sai số lâu nhất được giữ ở 8-bit.
Giới thiệu
Các mô hình attention tuyến tính giữ một trạng thái hồi quy kích thước cố định cho mỗi chuỗi, và lưu trạng thái này ở độ chính xác thấp cho phép một bộ tăng tốc phục vụ nhiều chuỗi hơn. Các bộ lượng tử hiện có làm tròn sau mỗi token, và công trình trước báo cáo rằng trạng thái 4-bit làm mất độ chính xác nếu không tăng số bit hoặc tinh chỉnh mô hình.
Kết quả
Trên bốn mô hình lai từ 4B đến 35B tham số, PACE với các head hỗn hợp 4-bit và 8-bit đạt hiệu năng tương đương DAMP 8-bit trên ba mô hình lớn hơn, với khoảng hai phần ba bộ nhớ. Việc làm tròn sau mỗi vài token cũng giữ nguyên mức tăng tốc giải mã nhờ bộ đệm.
Kết luận
Điều này quan trọng vì nó cho phép phục vụ nhiều chuỗi đồng thời hơn với trạng thái 4-bit mà không cần huấn luyện lại và không mất nhiều độ chính xác.