Lưu trữ — US — techcrunch
DeepSeek ra mắt mô hình 'sparse attention' giảm một nửa chi phí API
DeepSeek đã ra mắt V3.2-exp, một mô hình giảm một nửa chi phí API cho các hoạt động ngữ cảnh dài thông qua cơ chế Sparse Attention của mình. Nó sử dụng một bộ chỉ mục nhanh cho việc ưu tiên trích đoạn lựa chọn và một hệ thống lựa chọn mã thông minh để tăng hiệu suất. Mô hình này có trọng lượng mở và có sẵn trên Hugging Face, cho phép tiến hành kiểm tra bên thứ ba để giảm chi phí suy luận trong trí tuệ nhân tạo.
Điểm chính
- DeepSeek đã phát hành mô hình V3.2-exp trên Hugging Face.
- Mô hình này tích hợp Sparse Attention, sử dụng bộ chỉ mục lightning để ưu tiên các đoạn văn bản quan trọng.
- Hệ thống lựa chọn token tinh vi được sử dụng để xử lý hiệu quả trong cửa sổ chú ý hạn chế.
- Các kiểm thử ban đầu cho thấy chi phí gọi API cho các hoạt động với ngữ cảnh dài có thể giảm đi 50%.
- DeepSeek nhằm cải thiện hiệu quả trong kiến trúc transformer để giảm chi phí suy luận.
Vì sao quan trọng
- Việc phát hành này đến sau những nỗ lực liên tục trong nghiên cứu AI nhằm giảm thiểu chi phí vận hành, đặc biệt là khi các mô hình ngày càng lớn hơn.
- Trước đó, DeepSeek đã ra mắt R1, được thiết kế để giảm chi phí đào tạo, cho thấy một mẫu in tức là sự đổi mới hiệu quả về chi phí.
- Các xu hướng hiện tại nhấn mạnh sự cần thiết của các mô hình AI hiệu quả giữa sự cạnh tranh toàn cầu, đặc biệt là giữa các cơ quan nghiên cứu của Mỹ và Trung Quốc.
DeepSeek's V3.2-exp giới thiệu một phương pháp đột phá để giảm chi phí API cho trí tuệ nhân tạo, phản ánh một sự chuyển đổi đáng kể đến hiệu quả chi phí trong bối cảnh cạnh tranh ngày càng leo thang trong lĩnh vực trí tuệ nhân tạo.