Lưu trữ — CN — technode
Công nghệ mã nguồn mở mới của Huawei Zurich Lab cho phép LLM hoạt động trên GPU dành cho người tiêu dùng
Trung tâm nghiên cứu của Huawei tại Zurich đã công bố SINQ, một phương pháp chuẩn hóa mã nguồn mở giảm đáng kể yêu cầu bộ nhớ cho các mô hình ngôn ngữ lớn, giúp chúng có thể chạy trên các GPU sử dụng cho người tiêu dùng như RTX 4090 thay vì phải sử dụng các GPU dành cho doanh nghiệp đắt tiền. Đổi mới này, hiện có trên GitHub và Hugging Face, nhằm mục tiêu giảm chi phí phần cứng và tính toán đám mây trong khi vẫn duy trì độ chính xác.
Điểm chính
- Huawei đã phát triển SINQ, một phương pháp làm mịn mã nguồn mở mới.
- SINQ giảm yêu cầu bộ nhớ của mô hình ngôn ngữ ngại lớn (LLM) lên đến 70%.
- Cho phép chạy LLM trên GPU người tiêu dùng (RTX 4090) thay vì các GPU doanh nghiệp đắt tiền (Nvidia A100 hoặc H100).
- Giảm cả chi phí phần cứng và tính toán đám mây.
- Dự án được cấp phép theo Apache 2.0 và có sẵn trên GitHub và Hugging Face.
- Đạt được độ chính xác gần với các phương pháp hiệu chỉnh dữ liệu, vượt trội so với RTN và HQQ về tốc độ và độ chính xác.
Vì sao quan trọng
- Công nghệ này phù hợp với xu hướng CNTT năm 2025 về việc phổ cập công nghệ AI bằng cách làm cho các công cụ mạnh mẽ trở nên dễ tiếp cận đối với các tổ chức nhỏ hơn.
- Các sáng kiến mã nguồn mở ngày càng trở nên quan trọng trong việc tăng tốc độ phát triển công nghệ và giảm chi phí trong việc phát triển AI.
- Khi GPU trở nên quan trọng hơn đối với các khối công việc AI, việc cho phép sử dụng chúng trên phần cứng dành cho người tiêu dùng tương ứng với xu hướng tăng cường sự tiếp cận trong công nghệ.
Việc phát hành SINQ bởi Huawei đánh dấu một bước tiến quan trọng trong công nghệ AI, giúp mở rộng quyền truy cập vào các mô hình ngôn ngữ ngôn ngữ mạnh mẽ hơn và tối ưu hóa chi phí và tài nguyên, phản ánh các xu hướng tiếp tục gia đình hóa và hợp tác mã nguồn mở trong ngành công nghệ.