arXiv 2610.23787
DLite: 에이전트형 AI를 위한 히스토리 무의존 추측적 디코딩
DLite: History-free Speculative Decoding for Agentic AI
AI추천 18
저자: Jiaming Xu, Hanzhen Wang, Tianlang Zhao, Jiewen Xiao, Chengze Yuan, Jiayi Pan, Yongkang Zhou, Jiancai Ye +2
개요
저자들은 대상 모델의 은닉 상태를 재사용하고, 점점 늘어나는 과거 문맥을 유지하지 않은 채 국소적으로 예측을 수행하는 에이전트형 AI용 추측적 디코딩 프레임워크 DLite를 제안합니다. 경량 순차 헤드가 블록 내부의 인과적 의존성을 복원하며, 이 이기종 구조를 학습하기 위해 맞춤형 2단계 학습 전략을 사용합니다.
소개
추측적 디코딩은 LLM 추론을 가속하지만, 길고 계속 변하는 문맥과 잦은 다중 턴 상호작용이 나타나는 에이전트 워크로드에서는 기존 드래프트 모델의 수용 길이가 최대 80%까지 떨어지며, 과거 KV 캐시를 유지하면 시스템 오버헤드도 크게 증가합니다.
결과
DLite는 2-6의 수용 길이를 달성하며, 최신 방법인 DSpark보다 최대 70% 더 우수한 성능을 보입니다. 이러한 성과는 범용, 장문맥, 에이전트 워크로드 전반에서 확인되었습니다.
결론
계속 늘어나는 과거 이력에 대한 의존성을 제거함으로써 에이전트형 AI 시스템에서도 추측적 디코딩을 실용적으로 사용할 수 있게 됩니다.