EXPLORINEER
vi

UK — The Register

Qualcomm cho dùng thử hệ thống AI rack-scale cạnh tranh với Nvidia

Bán dẫn2 phút đọc

Qualcomm cho một số khách hàng được chọn dùng thử hệ thống AI Dragonfly AI200 qua đám mây của Cirrascale. Đây là đối thủ muốn thay thế các hệ thống AI của Nvidia.

Chuyện gì đã xảy ra

Qualcomm đã mở cho khách hàng được chọn một đợt dùng thử trên đám mây. Khách hàng có thể chạy thử hệ thống Dragonfly AI200 trên nền tảng AI Innovation Cloud của Cirrascale. Qualcomm nói rằng việc thử nghiệm này có thể dẫn đến triển khai thật sự sau đó. Cirrascale cũng đã trình diễn hệ thống tại hội nghị SC26 ở Chicago, diễn ra từ ngày 17 đến 18 tháng 11.

Các con số chính

  • Mỗi card AI200 có 768 GB bộ nhớ LPDDR.
  • 56 card trong một tủ rack làm mát bằng chất lỏng có tổng khoảng 43 TB bộ nhớ.
  • Hệ thống hỗ trợ các mô hình từ 7 tỷ đến 10 nghìn tỷ tham số.

Nền tảng cần biết

AI inference là giai đoạn AI trả lời câu hỏi hoặc tạo nội dung sau khi đã được huấn luyện. Dragonfly AI200 là hệ thống Qualcomm đưa ra để chạy các mô hình ngôn ngữ lớn với chi phí điện và vận hành thấp hơn so với hệ thống của Nvidia. Qualcomm dùng bộ nhớ LPDDR, loại thường thấy trong thiết bị di động, thay vì HBM3e đắt và nhanh hơn mà hệ thống NVL72 của Nvidia dùng. Vì vậy, nhiều bộ nhớ hơn chưa chắc có nghĩa là hiệu năng ngang bằng Nvidia.

Vì sao chuyện này quan trọng

Chi phí điện và vận hành đang là vấn đề lớn với các trung tâm dữ liệu AI. Nếu Qualcomm chứng minh được AI200 tiết kiệm hơn mà vẫn đủ nhanh, khách hàng sẽ có thêm lựa chọn ngoài Nvidia. Tuy nhiên, bài báo chưa cho thấy kết quả thực tế, nên khách hàng vẫn cần tự kiểm tra.

Cần theo dõi

  • Kết quả dùng thử của khách hàng có tiết kiệm điện và chi phí như Qualcomm hứa không.
  • Qualcomm có đưa AI200 vào triển khai thật trong trung tâm dữ liệu không.
  • Phần mềm quản lý Dragonfly AI Infrastructure Management Suite có hoạt động tốt với nhiều tủ rack không.

Chú giải

Qualcomm
Công ty làm chip, nổi tiếng với chip cho điện thoại, nay cũng làm chip AI cho trung tâm dữ liệu.
Nvidia
Công ty làm chip xử lý đồ họa (GPU) và là hãng dẫn đầu về chip AI hiện nay.
Cirrascale
Công ty cung cấp dịch vụ đám mây, cho khách thuê máy chủ AI qua internet.
Dragonfly AI200
Hệ thống AI dạng tủ rack của Qualcomm, dùng để chạy (inference) các mô hình AI.
LPDDR
Loại bộ nhớ tiết kiệm điện, thường dùng trong điện thoại và thiết bị di động.
HBM3e
Loại bộ nhớ tốc độ cao nhưng đắt, dùng trong các chip AI lớn.

Quảng cáo

Thêm 150 từ, học 10 từ mỗi ngày

Sổ từ vựng Dicter chỉ đưa những từ bạn đã thuộc vào sổ ôn tập.

Bán dẫnThe Register

Gã khổng lồ internet Trung Quốc Tencent nói lệnh cấm GPU mới của Mỹ "làm tụt lùi tất cả mọi người ở Trung Quốc"

Chủ tịch Tencent Martin Lau cho biết lệnh cấm mới của Mỹ đối với việc các công ty Trung Quốc truy cập GPU từ xa sẽ gây tác động ngắn hạn nhưng cuối cùng sẽ thúc đẩy Trung Quốc phát triển nhanh hơn các giải pháp thay thế trong nước. Ông nói lệnh cấm ảnh hưởng đến khả năng huấn luyện mô hình và thuê GPU của Tencent, trong khi chip sản xuất tại Trung Quốc có thể đảm nhận khối lượng công việc suy luận.

Bán dẫnThe Register

Vẫn như thường lệ, nhưng Huang sẽ không quay trở lại, Nvidia cho biết

Hội đồng quản trị Nvidia cho biết không có kế hoạch đưa Jensen Huang trở lại làm CEO sau khi ông từ chức tuần trước, đồng thời đang tăng cường giám sát và tìm kiếm lãnh đạo mới. Giám đốc điều hành tạm thời Colette Kress báo cáo doanh thu quý tăng 103% lên 115,8 tỷ USD và nâng dự báo tăng trưởng năm tài chính 2028 lên khoảng 75%, dù các nhà phân tích vẫn đặt câu hỏi về định hướng tương lai của công ty.

Bán dẫnTechCrunch

Nvidia làm rõ khi nào sẽ — và sẽ không — tiếp tục tài trợ cho các neocloud

Giám đốc tài chính Nvidia Colette Kress, hiện là CEO tạm thời, cho biết trong cuộc họp báo cáo quý rằng các khoản bảo lãnh vay của công ty, chẳng hạn khoản hỗ trợ 105 tỷ USD cho khu tổ hợp trung tâm dữ liệu PORTS-Pike của OpenAI ở Ohio, chỉ có hiệu lực sau khi khách hàng đã đảm bảo được nguồn vốn và thiết bị cần thiết để xây dựng cơ sở. Nếu dự án bị chậm trễ hoặc không đáp ứng các điều kiện đó, khoản bảo lãnh sẽ "không còn tồn tại". Kress nói Nvidia sẽ chọn lọc hơn nhiều trong việc tài trợ cho khách hàng trong tương lai, nhưng không rút lui hoàn toàn.

Bán dẫnZDNet Korea

"Jensen Huang sẽ không trở lại"…Vì sao Nvidia quay lưng với nhà sáng lập

Tin đồn Jensen Huang có thể tái nhậm chức CEO Nvidia vẫn tiếp diễn sau khi ông từ chức vì scandal ngoại tình, nhưng chủ tịch hội đồng quản trị Harvey Jones cho biết hội đồng đã nhất trí chấp nhận việc từ chức và không có ý định đưa ông trở lại. Bài báo cho rằng rủi ro an ninh quốc gia liên quan đến nghi vấn một trong các đối tượng có liên hệ với tình báo Trung Quốc, cùng vi phạm quy tắc đạo đức nội bộ với nhân viên cấp dưới, là những trở ngại lớn đối với việc quay lại.