Thử DeepSeek V4.1 Flash 1017 qua PR của Unsloth: Có thực sự dùng được không?

Chuyện gì đã xảy ra

Lập trình viên Kishida thử mô hình DeepSeek V4.1 Flash 1017 lúc đầu thấy chạy chậm. Sau khi anh sửa mã nguồn, mô hình chạy nhanh hơn. Sau đó anh thử phiên bản mã của Unsloth và thích nó hơn. Anh nói mô hình thông minh, dù chưa mạnh bằng Opus 5, nhưng mạnh hơn Sonnet 5. Mô hình viết được đoạn mã trò chơi dài chỉ trong một lần, không có lỗi.

Các con số chính

• Mô hình dùng là Unsloth UD-Q4_K_XL, chạy trên máy Mac Studio M3 Ultra có 512GB bộ nhớ.
• Với phiên bản của Unsloth, tốc độ vẫn khoảng 30 token mỗi giây khi ngữ cảnh là 100.000 token.
• Anh thử đến khoảng 150.000 token. Tốc độ vẫn gần 29 token mỗi giây.
• Ở 10.000 token, phiên bản vcruz cũ chạy 21,0 token mỗi giây. Ở 100.000 token, tốc độ giảm còn 7,0.
• Một bài tập vẽ thuyền buồm trong Blender mất khoảng 4,5 giờ và gần như không cần giúp đỡ.

Vì sao sửa được tốc độ

Mô hình này dùng cơ chế chú ý thưa. Nghĩa là nó chỉ nên nhìn vào một số ít token trong quá khứ mà nó tự chọn. Mã cũ vẫn đọc toàn bộ token rồi mới bỏ qua những token không dùng, nên các cuộc trò chuyện dài bị rất chậm. Cách sửa của Kishida chỉ đọc những token cần thiết. Phiên bản của Unsloth còn tái sử dụng cùng tập token đã chọn, nên tốc độ giữ tốt hơn nữa. Anh cũng lưu ý rằng llama.cpp không dùng cách bỏ qua một số lớp của mô hình, nên nó luôn chạy đầy đủ cả mô hình.

Vì sao điều này quan trọng

Một mô hình giữ được tốc độ khi đầu vào dài rất hữu ích cho các tác nhân lập trình. Những công cụ này thường tích lũy rất nhiều ngữ cảnh. Câu chuyện cũng cho thấy mô hình có thể lập kế hoạch công việc tốt và giữ báo cáo ngắn gọn, giúp tiết kiệm thời gian và chi phí. Kishida cũng chỉ ra rằng nếu mô hình bị lặp lại sau khi bỏ qua các lớp, nó có thể mất nhiều thời gian hơn so với một lần chạy đầy đủ nhưng chậm hơn.

Cần theo dõi thêm

• Các thay đổi của Unsloth có được gộp vào dự án llama.cpp chính hay không.
• Làm sao mô hình giữ được tốc độ ở 300.000 token, điều mà Kishida muốn cho công việc của tác nhân.
• Có xuất hiện lỗi lặp khi xử lý đầu vào dài với các cài đặt bỏ qua lớp hay không.
• Mô hình xử lý hình ảnh, âm thanh và các kỹ năng trong dự án lớn ra sao.