arXiv 2610.23181
장기 과제 에이전트 강화학습을 위한 트리 인식 사후 증류
Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
AI추천 27
저자: Heming Zou, Qi Wang, Yixiu Mao, Yun Qu, Yuyi Guo, Zeyuan Liu, Chenglin Li, Weijie Liu +2
개요
저자들은 공유 접두사에서 대안적 후속 행동을 분기하고, 터미널 보상을 턴 단위 크레딧으로 역전파한 뒤, 각 크레딧을 유계이며 닫힌 형태의 교사 분포로 변환하는 크리틱-프리 프레임워크 TreeOPSD를 제안합니다. 이 교사와 학생 정책 사이의 발산을 최소화하면 정책 경사 방향이 복원되며, 순차적 미니배치 업데이트가 유한한 목표 근처에 머물도록 합니다.
소개
터미널 보상만으로 장기 과제의 에이전트를 학습하면 턴 단위 크레딧이 희소하고 분산이 커지며, 고정된 롤아웃 배치에 대한 반복 업데이트는 클리핑만으로 충분히 제어되지 않는 정책 오래됨(staleness)을 초래합니다.
결과
TreeOPSD는 Deep Research 설정에서 GRPO 대비 Qwen3-30B-A3B-Thinking-2507의 평균 정확도를 4.97점 높였습니다. 이 향상은 여러 벤치마크와 모델 규모에 걸쳐 나타났으며, 장기 과제에서 특히 큰 이득을 보였습니다.
결론
TreeOPSD는 가치 네트워크, 단계별 주석, 더 강력한 외부 교사 없이도 더 촘촘한 크레딧과 더 안정적인 업데이트를 제공합니다.