Lưu trữ — CN — technode
Xiaomi MiMo-V3 sẽ áp dụng kiến trúc mới khi HySparse2 giảm chi phí cho ngữ cảnh dài
Xiaomi's MiMo-V3 sẽ triển khai một kiến trúc mới sử dụng công nghệ HySparse2, giảm chi phí liên quan đến suy luận ngữ cảnh dài và tăng cường lấy thông tin cho các nhiệm vụ có tính chất hành động. HySparse2 đạt được sự giảm đáng kể về tính toán và kích thước bộ nhớ cache, dẫn đến cải thiện các chỉ số hiệu suất cho các bài kiểm tra khác nhau.
Điểm chính
- Xiaomi's MiMo-V3 sẽ sử dụng một kiến trúc mới.
- Công nghệ lõi mới, HySparse2, nhằm giảm chi phí suy luận ngữ cảnh dài.
- HySparse2 giảm tính toán prefill lên đến 5,02 lần với ngữ cảnh có 1 triệu token.
- Nó cũng giảm bộ nhớ cache key-value lên đến 4,5 lần.
- Các số liệu hiệu suất cho thấy điểm số MRCRv2 và RULER-v2 cao hơn.
- Kết quả AgentPPL và LongPPL thấp hơn do các tối ưu hóa này.
Vì sao quan trọng
- Sự phát triển của các mô hình Trí tuệ Nhân tạo (AI) hiệu quả đồng bộ với xu hướng CNTT năm 2025 tập trung vào việc tính toán AI hiệu quả về chi phí.
- HySparse2 phản ánh nhu cầu ngày càng tăng về các giải pháp có thể mở rộng trong xử lý ngôn ngữ tự nhiên khi các nhiệm vụ trở nên phức tạp hơn.
- Các tiến bộ tương tự trong kiến trúc AI đã được thấy trong các công ty như Google và OpenAI đang đầu tư vào hiệu quả.
Xiaomi's MiMo-V3, sử dụng công nghệ HySparse2, đại diện cho sự tiến bộ đáng kể trong hiệu quả trí tuệ nhân tạo, đặt nặng vào xu hướng trong ngành công nghiệp nhằm tối ưu hóa hiệu suất cho các nhiệm vụ với bối cảnh lớn.