UK — The Register
Qualcomm cho dùng thử hệ thống AI rack-scale cạnh tranh với Nvidia
Bán dẫn2 phút đọc
Qualcomm cho một số khách hàng được chọn dùng thử hệ thống AI Dragonfly AI200 qua đám mây của Cirrascale. Đây là đối thủ muốn thay thế các hệ thống AI của Nvidia.
Chuyện gì đã xảy ra
Qualcomm đã mở cho khách hàng được chọn một đợt dùng thử trên đám mây. Khách hàng có thể chạy thử hệ thống Dragonfly AI200 trên nền tảng AI Innovation Cloud của Cirrascale. Qualcomm nói rằng việc thử nghiệm này có thể dẫn đến triển khai thật sự sau đó. Cirrascale cũng đã trình diễn hệ thống tại hội nghị SC26 ở Chicago, diễn ra từ ngày 17 đến 18 tháng 11.
Các con số chính
- Mỗi card AI200 có 768 GB bộ nhớ LPDDR.
- 56 card trong một tủ rack làm mát bằng chất lỏng có tổng khoảng 43 TB bộ nhớ.
- Hệ thống hỗ trợ các mô hình từ 7 tỷ đến 10 nghìn tỷ tham số.
Nền tảng cần biết
AI inference là giai đoạn AI trả lời câu hỏi hoặc tạo nội dung sau khi đã được huấn luyện. Dragonfly AI200 là hệ thống Qualcomm đưa ra để chạy các mô hình ngôn ngữ lớn với chi phí điện và vận hành thấp hơn so với hệ thống của Nvidia. Qualcomm dùng bộ nhớ LPDDR, loại thường thấy trong thiết bị di động, thay vì HBM3e đắt và nhanh hơn mà hệ thống NVL72 của Nvidia dùng. Vì vậy, nhiều bộ nhớ hơn chưa chắc có nghĩa là hiệu năng ngang bằng Nvidia.
Vì sao chuyện này quan trọng
Chi phí điện và vận hành đang là vấn đề lớn với các trung tâm dữ liệu AI. Nếu Qualcomm chứng minh được AI200 tiết kiệm hơn mà vẫn đủ nhanh, khách hàng sẽ có thêm lựa chọn ngoài Nvidia. Tuy nhiên, bài báo chưa cho thấy kết quả thực tế, nên khách hàng vẫn cần tự kiểm tra.
Cần theo dõi
- Kết quả dùng thử của khách hàng có tiết kiệm điện và chi phí như Qualcomm hứa không.
- Qualcomm có đưa AI200 vào triển khai thật trong trung tâm dữ liệu không.
- Phần mềm quản lý Dragonfly AI Infrastructure Management Suite có hoạt động tốt với nhiều tủ rack không.
Chú giải
- Qualcomm
- Công ty làm chip, nổi tiếng với chip cho điện thoại, nay cũng làm chip AI cho trung tâm dữ liệu.
- Nvidia
- Công ty làm chip xử lý đồ họa (GPU) và là hãng dẫn đầu về chip AI hiện nay.
- Cirrascale
- Công ty cung cấp dịch vụ đám mây, cho khách thuê máy chủ AI qua internet.
- Dragonfly AI200
- Hệ thống AI dạng tủ rack của Qualcomm, dùng để chạy (inference) các mô hình AI.
- LPDDR
- Loại bộ nhớ tiết kiệm điện, thường dùng trong điện thoại và thiết bị di động.
- HBM3e
- Loại bộ nhớ tốc độ cao nhưng đắt, dùng trong các chip AI lớn.