arXiv 2610.23787
DLite：エージェント型AIのための履歴フリー投機的デコーディング
DLite: History-free Speculative Decoding for Agentic AI
AI推薦18
著者: Jiaming Xu, Hanzhen Wang, Tianlang Zhao, Jiewen Xiao, Chengze Yuan, Jiayi Pan, Yongkang Zhou, Jiancai Ye +2
概要
本研究は、ターゲットモデルの隠れ状態を再利用し、増え続ける過去の文脈を保持せずに局所的な予測を行う、エージェント型AI向けの投機的デコーディング・フレームワークDLiteを提案します。軽量な逐次ヘッドがブロック内の因果依存関係を復元し、このヘテロジニアスな構造を学習するために専用の2段階学習戦略を用います。
はじめに
投機的デコーディングはLLMの推論を高速化しますが、長く変化し続ける文脈や頻繁なマルチターン対話を伴うエージェント型ワークロードでは、既存のドラフトモデルの受理長が最大80%低下し、過去のKVキャッシュの保持も大きなシステムオーバーヘッドを生みます。
結果
DLiteは2〜6の受理長を達成し、最先端手法であるDSpark を最大70%上回りました。この成果は汎用、長文脈、エージェント型のいずれのワークロードでも確認されています。
結論
際限なく増える履歴への依存を取り除くことで、エージェント型AIシステムにおいても投機的デコーディングを実用的に活用できるようになります。