arXiv 2610.28577
エージェントのためのキャッシュエンジニアリング
Cache Engineering for Agents
AI推薦111
著者: Tianyu Fu, Ruoxi Wang, Zihan Min, Zhongqi Ren, Zhihao Li, Tengxuan Liu, Shengxu Mu, Hanling Zhang +1
概要
本論文は、LLMエージェントが軌跡を書き換えたり再プリフィルしたりすることなく、アクティブなKVキャッシュを直接制御できる「キャッシュエンジニアリング」を提案する。選択したキャッシュをアテンションから除外（drop）し、保持されたキーの位置エンコーディングを調整（repos）できる。これを実装したAKVサービングエンジンは、ステートレスなインターフェースを提供しつつ、内部ではステートフルなキャッシュの再利用、退避、復元を管理する。
はじめに
エージェントの軌跡がコンテキスト上限を超えて長くなると、KVキャッシュのI/Oと保存が主要なコストになる。既存のコンテキストエンジニアリング（履歴の削減や要約）では、保持したコンテキストの高コストな再プリフィルが発生し、精度も低下しうる。
結果
ツール応答のローリングdropキャッシュ方式は、閾値起動の要約方式と比べて平均ベンチマークスコアを1.7点向上させ、平均コストを27.7%削減した。AKVはさらに、出力スループットが最大1.2倍、P95リクエストレイテンシが1.5倍の高速化を達成した。
結論
履歴を書き換えるのではなくKVキャッシュを直接管理することは、長期タスクを行うエージェントをより低コストかつ高精度に運用する方法であり、再帰的に自己改善されたキャッシュ方策は専門家設計よりさらに7.1%のコスト削減をもたらす。