arXiv 2610.20951
LEV: Suy nghĩ nhanh và sâu với mô hình quyết định lặp
LEV: Thinking Fast and Deep with Looped Decision Models
AI22 lượt đề xuất
Tác giả: Dingjie Song, Zhiling Yan, Yuxuan Zhang, Lichao Sun
Tổng quan
Các tác giả giới thiệu LEV, một mô hình quyết định tăng độ sâu suy luận bằng cách chạy lại các lớp theo vòng lặp thay vì sinh thêm token. LEV xuất phát từ một mô hình ngôn ngữ được tiền huấn luyện dạng vòng lặp, đọc các lựa chọn sau mỗi bước lặp và huấn luyện tất cả các bước cùng nhau, nhờ vậy một checkpoint có thể trả lời ở bất kỳ độ sâu nào. Một bộ dừng nhỏ đặt độ sâu cho từng câu hỏi dựa trên ngưỡng được điều chỉnh trên các yêu cầu không có nhãn.
Giới thiệu
Mô hình quyết định trả lời trong một lần truyền thẳng nên độ sâu cố định, tiêu tốn cùng lượng tính toán cho câu hỏi dễ và khó. Các mô hình suy luận bằng văn bản có thể suy nghĩ lâu hơn nhưng phải trả chi phí cho mỗi bước thêm dưới dạng token được giải mã.
Kết quả
Với cùng bộ trọng số, độ chính xác tăng theo độ sâu vòng lặp, và LEV 2.6B tăng từ 63,2% ở độ sâu một lên 76,2% ở độ sâu bốn trên JevBench. Độ sâu theo nhu cầu tiết kiệm 15% đến 24% tính toán với mức giảm độ chính xác dưới một điểm phần trăm.
Kết luận
Cách này cho phép đánh đổi tính toán lấy độ chính xác cho từng câu hỏi mà không cần sinh văn bản, điều quan trọng với các hệ thống nhạy cảm về độ trễ.