Khung Sleep: Cách mới giúp LLM giữ lại kiến thức trong học liên tục

Chuyện gì đã xảy ra?

Các LLM hiện nay học xong rồi thì gần như đứng yên. Chúng có một ngày giới hạn kiến thức và khó học thêm điều mới. Nếu cập nhật mô hình bằng dữ liệu mới, mô hình thường quên việc đã học trước đó. Nhóm nghiên cứu đề xuất chia công việc của mô hình thành hai giai đoạn: lúc hoạt động (thức) và lúc nghỉ (ngủ). Trong lúc ngủ, mô hình củng cố các thông tin ngắn hạn thành kiến thức dài hạn. Nhóm cho biết cách này giúp mô hình học thêm sự kiện mới, nhớ được ngữ cảnh dài tới 10 triệu token và suy luận tốt hơn.

Các con số và sự kiện chính

• Khung làm việc chia thành hai pha: thức (nhận và xử lý thông tin) và ngủ (củng cố trí nhớ).
• Mô hình có thể giữ kiến thức từ ngữ cảnh dài tới 10 triệu token.
• Trong lúc ngủ, mô hình mở các khối bộ nhớ MoE (Mixture of Experts) đã được dành sẵn.
• Mô hình tự tạo các bài luyện tập của mình để cập nhật trọng số.

Vì sao đây là vấn đề khó?

Có hai cách thông thường để mô hình nhớ điều mới, nhưng cả hai đều có hạn chế. Cách thứ nhất là cập nhật tham số, nhưng dễ gây ra hiện tượng quên thảm khốc, tức là học việc mới làm giảm mạnh khả năng với việc cũ. Cách thứ hai là học ngay trong ngữ cảnh (ICL), nhưng thông tin chỉ tồn tại trong một phiên làm việc và mất đi khi phiên kết thúc. Khung giấc ngủ được thiết kế để kết hợp ưu điểm của cả hai.

Vì sao điều này quan trọng?

Nếu một mô hình có thể học liên tục mà không quên, nó sẽ hữu ích hơn nhiều sau khi đã triển khai. Nó có thể cập nhật kiến thức mới mà không cần huấn luyện lại từ đầu. Tuy nhiên, đây là một nghiên cứu được trình bày trong bài viết của nhóm tác giả. Bài viết chưa cho thấy đây đã là sản phẩm dùng rộng rãi.

Cần theo dõi điều gì?

• Kết quả thử nghiệm đầy đủ và cách đo lường việc giữ kiến thức.
• Liệu cách này có chạy hiệu quả trên các mô hình lớn ngoài đời thực không.
• Chi phí tính toán của giai đoạn ngủ so với cách huấn luyện thông thường.