アーカイブ — US — techcrunch
DeepSeek、APIコストを半減させる「スパースアテンション」モデルを発表
DeepSeekがV3.2-expを発表しました。これは、Sparse Attentionメカニズムを使用して、長いコンテキスト操作のAPIコストを半減させるモデルです。選択的な抜粋の優先順位付けには、Lightning Indexerが使用され、効率性のために細かいトークン選択システムが採用されています。このモデルはオープンウェイトであり、Hugging Faceで利用可能です。これにより、AIにおける推論コストの削減を目指す第三者によるさらなるテストが可能になります。
要点
- DeepSeekは、Hugging Face上でモデルV3.2-expをリリースしました。
- このモデルはSparse Attentionを特徴とし、ライトニングインデクサを使用してコンテキスト抜粋の優先順位を付けています。
- 限られた注意ウィンドウ内での効率的な処理のために、細かいトークン選択システムが使用されています。
- 初期テストでは、長いコンテキスト操作のAPI呼び出しコストを50%削減できる可能性が示されています。
- DeepSeekは、推論コストを低下させるために、トランスフォーマーアーキテクチャの効率を改善することを目指しています。
なぜ重要か
- AI研究における運用コストの最小化への取り組みが続いている中、最新のリリースが行われました。
- DeepSeekは以前、トレーニングコストを削減することを目的としたR1をローンチしました。これは、コスト効率の良い革新のパターンを示しています。
- 現在のトレンドは、特に米中の研究機関の間でのグローバル競争の中で、効率的なAIモデルの必要性を強調しています。
DeepSeekのV3.2-expは、AIのAPIコストを削減する革新的な手法を導入しました。これは、AIセクターにおける激しい競争の中でコスト効率化への重要な転換を反映しています。