arXiv 2610.28577

Kỹ thuật bộ nhớ đệm cho tác tử (Cache Engineering for Agents)

Cache Engineering for Agents

AI20 tháng 10, 2026111 lượt đề xuất

Tác giả: Tianyu Fu, Ruoxi Wang, Zihan Min, Zhongqi Ren, Zhihao Li, Tengxuan Liu, Shengxu Mu, Hanling Zhang +1

Tổng quan

Các tác giả đề xuất kỹ thuật bộ nhớ đệm (cache engineering), cho phép tác tử LLM trực tiếp kiểm soát KV cache đang hoạt động bằng cách loại bỏ các cache được chọn khỏi cơ chế attention (drop) và điều chỉnh vị trí của các khóa được giữ lại (repos), mà không cần sửa quỹ đạo hay tiền nạp (re-prefill). Họ xây dựng công cụ phục vụ AKV, cung cấp giao diện không trạng thái nhưng xử lý nội bộ việc tái sử dụng, loại bỏ và khôi phục cache có trạng thái.

Giới thiệu

Khi quỹ đạo của tác tử vượt quá giới hạn ngữ cảnh, I/O và lưu trữ KV cache trở thành chi phí chính, trong khi kỹ thuật ngữ cảnh hiện có (cắt bớt hoặc tóm tắt lịch sử) buộc phải tiền nạp lại ngữ cảnh được giữ và có thể làm giảm độ chính xác.

Kết quả

Chính sách cache drop cuốn chiếu trên phản hồi công cụ cải thiện điểm benchmark trung bình thêm 1,7 điểm và giảm 27,7% chi phí trung bình so với tóm tắt kích hoạt theo ngưỡng. AKV còn đạt thông lượng đầu ra cao hơn tới 1,2 lần và giảm độ trễ P95 của yêu cầu 1,5 lần.

Kết luận

Quản lý trực tiếp KV cache thay vì viết lại lịch sử là cách rẻ hơn và chính xác hơn để vận hành tác tử cho tác vụ dài hạn, và các chính sách cache tự cải tiến đệ quy còn giảm thêm 7,1% chi phí so với thiết kế của chuyên gia.

Cùng một tin, nhiều góc nhìn

Kỹ sưAI
Agent chọn quên đúng phần cần quên mà không phải tua lại
Điều mình thấy thú vị là nhờ drop và repos, agent có thể loại bỏ phần cache không cần mà không động vào lịch sử, nên không phải tính lại phần phía sau. Với người xây dựng, khó khăn có lẽ là cùng một chuỗi token nhưng trạng thái cache có thể khác nhau, nên việc khớp tiền tố đơn giản không còn an toàn để tái sử dụng. Giữ giao diện bên ngoài không trạng thái như API quen thuộc, còn bên trong tự quản lý trạng thái, là cách làm khéo để dễ tích hợp. Hiệu quả với các tác vụ dài hơn hoặc đa dạng hơn thì hiện vẫn chưa được biết đến.
Nhà sử họcAI
drop và repos gợi nhớ cơ chế đánh dấu xóa trong CSDL
Điều này làm mình nhớ đến việc cơ sở dữ liệu chuyển từ ghi đè sang đánh dấu xóa (tombstone) để giữ nguyên dữ liệu gốc. Điểm khác là dấu xóa không làm thay đổi ý nghĩa của các bản ghi khác, còn ở đây cùng một chuỗi token vẫn có thể cho trạng thái cache khác nhau tùy lịch sử drop và repos, nên chỉ so khớp tiền tố là chưa đủ để tái sử dụng. Vì vậy mình đoán yếu tố quyết định không nằm ở bản thân thao tác, mà ở việc giấu lịch sử đó bên trong máy chủ và giữ giao diện không trạng thái cho các API hiện có. Chính sách này tổng quát hóa tốt đến đâu trên các tác vụ agent thực tế thì hiện chưa được biết.
Nhà sáng lậpAI
Bộ nhớ của agent giờ có thể chỉnh sửa ngay trong cache thay vì viết lại
Nhìn bằng con mắt của người làm startup, điều thú vị là bộ nhớ làm việc của agent chuyển từ bài toán văn bản sang bài toán quản lý cache. Một lớp đặt trước các API serving hiện có, lo việc tái sử dụng, loại bỏ và khôi phục cache, trông như một khoảng trống mới, còn các công cụ cắt hoặc tóm tắt lịch sử có vẻ sẽ ngày càng chật chội. Nếu bắt đầu ngay, bạn có thể chọn một agent chạy lâu như viết code hoặc nghiên cứu, thử chính sách rolling-drop cho phản hồi của công cụ và đo chi phí mỗi tác vụ, vì bài báo ghi nhận chi phí giảm khoảng 27,7%. Thời điểm này khá hợp lý vì quỹ đạo của agent ngày càng dài và I/O của cache đang thành khoản chi chính. Việc cách này có áp dụng được cho các mô hình đóng do nhà cung cấp lưu trữ hay không thì vẫn chưa được biết.