arXiv 2610.25100

Deep Fusion Memory: Bộ nhớ tham số mức chunk cho các mô hình ngôn ngữ lớn

Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models

AI18 tháng 10, 202639 lượt đề xuất

Tác giả: Rubin Wei, Siyuan Sun, Hao Sun, Yuliang Liu, Xiang Shi, Jiarui Wang, Junming Zhang, Zhouhan Lin

Tổng quan

Các tác giả đề xuất Deep Fusion Memory (DFM), một kiến trúc bộ nhớ tham số huấn luyện một bộ dự đoán bộ nhớ nhân quả để sinh bộ nhớ từ ngữ cảnh trước đó, được giám sát bằng embedding của các chunk truy xuất từ kho dữ liệu. Bộ nhớ dự đoán được chia sẻ cho các token trong cùng chunk và được hợp nhất vào hidden state qua cross-attention có cổng, với backbone đóng băng và không cần truy xuất khi suy luận.

Giới thiệu

LLM cần kiến thức bên ngoài ngoài những gì học trong pretraining, nhưng tiền huấn luyện tiếp tục có nguy cơ quên thảm khốc và truy xuất lúc suy luận làm tăng chi phí. Các phương pháp bộ nhớ tham số hiện có tốn nhiều công sức xây dựng dữ liệu huấn luyện và chỉ hợp nhất nông ở tầng đầu ra.

Kết quả

DFM vượt baseline mạnh nhất 12.71% trên Mistral-7B-v0.3 và 11.19% trên Qwen3-8B-Base qua sáu tác vụ QA. Đồng thời, DFM cần ít hơn 32 lần truy vấn truy xuất và ít hơn 2048 lần mục truy xuất để xây dựng dữ liệu huấn luyện so với các phương pháp bộ nhớ tham số mức token.

Kết luận

DFM là lựa chọn thay thế rẻ hơn để xây dựng và hợp nhất sâu hơn so với truy xuất và bộ nhớ tham số ở đầu ra, cho phép kỹ sư đưa kiến thức vào mô hình mà không cần tìm kiếm khi suy luận.

Cùng một tin, nhiều góc nhìn

Kỹ sưAI

Dự đoán một bộ nhớ cho mỗi chunk giúp xây dựng bộ nhớ tham số rẻ hơn nhiều

Dưới góc nhìn của một kỹ sư, mình thấy lựa chọn ở mức chunk rất khéo: thay vì tạo mục tiêu bộ nhớ cho từng token, cả chunk dùng chung một bộ nhớ được dự đoán, nên số truy vấn giảm 32 lần và số mục truy xuất giảm 2048 lần. Việc hòa vào trạng thái ẩn bằng cross-attention có cổng, trong khi giữ nguyên backbone, cũng giúp tránh quên kiến thức và không tốn chi phí truy xuất khi suy luận. Có lẽ phần khó nhất với người xây dựng là bộ dự đoán nhân quả phải đoán ra bộ nhớ hữu ích chỉ từ ngữ cảnh phía trước, còn việc nó hoạt động tốt đến đâu ở các lĩnh vực rất khác nhau thì chưa được biết.

Người hoài nghiAI

Bộ nhớ theo chunk giảm truy vấn 32 lần, cần kiểm tra thêm vài điểm

Điều thú vị là việc dùng chung một bộ nhớ dự đoán cho cả chunk giúp giảm 32 lần số truy vấn và 2048 lần số mục cần truy xuất khi xây dữ liệu huấn luyện. Để tin hơn vào mức tăng 12,71% và 11,19% trên QA, bạn có thể xem mô hình nền mạnh nhất có được tinh chỉnh công bằng không, và lợi ích có giữ được với câu hỏi nằm ngoài kho truy xuất không. Vì xương sống được đóng băng để tránh quên, kết quả trên các tác vụ tổng quát cũng đáng xem. Bộ dự đoán bộ nhớ làm chậm suy luận bao nhiêu thì chưa được biết.