アーカイブ — CN — technode
ByteDance研究者がDeepSeekモデルにおける長文コンテキストの不一致の原因を特定
バイトダンスの研究者たちは、DeepSeekモデルの一貫性のない長文脈検索の原因を特定しました。情報の位置が圧縮されたキャッシュ内にあることと検索の精度が関連しており、これが「位相感度」と呼ばれる性質で、性能のばらつきをもたらしています。このため、優れた平均ベンチマーク結果にもかかわらず、モデルに弱点があることが明らかになりました。
要点
- バイトダンスのSeedチームが、情報位置に基づいて、チャンク化されたKVキャッシュ圧縮が取得精度に影響を与えることを発見しました。
- 圧縮ウィンドウ内の位置によって、取得精度の変動が最大で40パーセントポイント異なる可能性があります。
- 位相感度現象は、ある位置からの情報の取得が簡単または難しい場合があることを意味します。
- 研究によると、モデルが平均スコアを高く達成していても、依然として重要な取得の問題が生じる可能性があります。
なぜ重要か
- AIモデルの性能における課題についての研究が示されました。特に、メモリの最適化と文脈理解の問題が継続的に存在しています。
- AIモデルが進化するにつれて、長文脈の検索問題がますます重要になり、2025年のトレンドではメモリ効率の向上が重要な焦点となっています。
- 産業が膨大なデータストリームを管理するためにAIにますます依存する中、注意機構の進歩が不可欠です。
AIモデル設計の複雑さを強調する結果が明らかになり、長いコンテキストの検索システムの将来の改良に役立つ可能性があることが示唆されています。