Lưu trữ — CN — technode
DeepSeek công bố phương pháp cắt giảm chi phí cho đào tạo mô hình lớn V3 trong bài báo mới
Bài báo mới của DeepSeek đã tiết lộ các phương pháp cắt giảm chi phí cho việc huấn luyện mô hình ngôn ngữ lớn DeepSeek-V3 chỉ với 2.048 GPU H800, nhấn mạnh vào tối ưu bộ nhớ, tiết kiệm tính toán, cải thiện giao tiếp và tăng tốc độ suy luận, đạt được sự giảm chi phí đáng kể và hiệu quả.
Điểm chính
- Mô hình V3 của DeepSeek chỉ sử dụng 2.048 GPU so với hàng chục nghìn thông thường cần.
- Các đổi mới chính bao gồm: 1) Tối ưu hóa bộ nhớ thông qua sự chú ý ẩn đa đầu giảm việc sử dụng cache xuống còn 70KB/mã thông báo; 2) Thiết kế Mixture-of-Experts kích hoạt 37 tỷ trên tổng số 671 tỷ tham số, giảm chi phí huấn luyện đi đến 90%; 3) Độ chính xác FP8 giảm thiểu yêu cầu về tính toán/bộ nhớ với sự đánh đổi nhỏ về độ chính xác; 4) Mạng nhiều mặt phẳng cải thiện hiệu quả truyền thông; 5) Dự đoán nhiều mã thông báo tăng tốc độ suy luận.
Vì sao quan trọng
- Các tiến bộ này phối hợp với các xu hướng Công nghệ thông tin năm 2025 tập trung vào hiệu quả và hiệu quả chi phí của trí tuệ nhân tạo, đặc biệt là trong các mô hình quy mô lớn đối mặt với yêu cầu tính toán tăng cao và mối quan ngại về môi trường.
- Các xu hướng lịch sử cho thấy sự đẩy mạnh các mô hình trí tuệ nhân tạo hiệu quả và tích hợp các hệ thống phần cứng-phần mềm khi khả năng trí tuệ nhân tạo mở rộng.
Các đổi mới được trình bày bởi DeepSeek trong phương pháp đào tạo của mình đại diện cho một bước tiến quan trọng hướng đến trí tuệ nhân tạo hiệu quả về tài nguyên, giải quyết cả yêu cầu tính toán và thách thức về chi phí, đồng thời mở đường cho những phát triển trong tương lai về tích hợp phần cứng và phần mềm AI.