XiaomiのMiMo-V3、新アーキテクチャを採用へ　HySparse2が長期コンテキストコストを削減

핵심 정리

• 1

  シャオミのMiMo-V3は新しいアーキテクチャを採用します。

• 2

  新しいコア技術であるHySparse2は、長いコンテキスト推論のコストを下げることを目指しています。

• 3

  HySparse2は、100万トークンのコンテキストでは、プリフィル計算を5.02倍、キー値キャッシュを4.5倍に減少させます。

• 4

  性能メトリクスでは、より高いMRCRv2スコアとRULER-v2スコアが示されています。

• 5

  これらの最適化により、AgentPPLとLongPPLの結果が低下しています。