Suy luận AI đang gặp nút thắt bộ nhớ. Huawei muốn giải quyết bằng OceanStor M900

Chuyện gì đã xảy ra?

Tại sự kiện HUAWEI CONNECT 2026 ở Thượng Hải, Huawei ra mắt OceanStor M900 Context Memory Storage. Đây là một lớp lưu trữ riêng, dùng để giữ thông tin mà AI tạo ra khi đang trả lời. Thông tin này nằm trong một kho chung gồm nhiều tầng, được nhiều máy dùng cùng lúc. Huawei nói hệ thống phục vụ các trung tâm dữ liệu lớn và hạ tầng Ascend SuperPoD của họ.

Các con số chính

• Dung lượng tối đa theo Huawei: 64PB (petabyte, rất lớn).
• Độ trễ truy cập giảm còn 60 micro giây, theo Huawei.
• Độ bền ổ ghi: tối đa 24 lần ghi toàn bộ dữ liệu mỗi ngày, gấp 16 lần SSD thông thường, theo Huawei.
• Theo Huawei, có thể tăng gấp đôi lượng token xử lý và giảm một nửa thời gian để có chữ đầu tiên trong các tác vụ viết mã AI.

Vì sao AI cần thêm bộ nhớ?

Khi AI trò chuyện lâu hơn, suy luận phức tạp hơn hoặc làm việc tự động, nó phải nhớ nhiều ngữ cảnh hơn. Để không phải tính lại từ đầu, AI lưu lại kết quả trung gian trong một bộ nhớ gọi là KV cache. Bộ nhớ GPU thì nhanh nhưng đắt và có giới hạn. Ổ lưu trữ thông thường thì rộng hơn nhưng chậm, khiến chip AI phải chờ dữ liệu.

Vì sao điều này quan trọng?

Theo bài báo, việc lưu trữ và truy xuất ngữ cảnh hiệu quả có thể quan trọng không kém tốc độ tính toán của chip AI. Huawei xem bộ nhớ, mạng và sức tính toán là các phần liên kết chặt chẽ với nhau. Tuy nhiên, các con số trên đều là lời khẳng định của Huawei và chưa được kiểm chứng độc lập.

Cần theo dõi điều gì?

• Các con số về tốc độ và độ bền có được kiểm chứng độc lập hay không.
• Khách hàng thực tế có áp dụng OceanStor M900 trong các hệ thống AI lớn không.
• Chi phí thực tế so với các giải pháp lưu trữ khác.