arXiv 2610.23181
長期的エージェント強化学習のための木構造対応事後蒸留
Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
AI推薦27
著者: Heming Zou, Qi Wang, Yixiu Mao, Yun Qu, Yuyi Guo, Zeyuan Liu, Chenglin Li, Weijie Liu +2
概要
著者らは、共有プレフィックスから代替continuationを分岐させ、終端報酬をターン単位のクレジットへ逆伝播し、各クレジットを有界で閉形式の教師分布に写像する、クリティックフリーの枠組みTreeOPSDを提案します。この教師と学生方策の間の発散を最小化することで方策勾配の方向が回復され、逐次的なミニバッチ更新が有限の目標付近に抑えられます。
はじめに
終端報酬のみで長期的なエージェントを学習すると、ターン単位のクレジットはスパースで分散が大きくなり、固定されたロールアウトバッチへの反復更新は、クリッピングだけでは十分に抑えられない方策の陳腐化を引き起こします。
結果
TreeOPSDは、Deep Research設定においてGRPOと比べてQwen3-30B-A3B-Thinking-2507の平均精度を4.97ポイント向上させました。この改善は複数のベンチマークとモデル規模にわたって報告されており、特に長期的タスクで大きな効果が見られます。
結論
TreeOPSDは、価値ネットワーク、ステップ単位の注釈、より強力な外部教師を必要とせずに、より密なクレジットとより安定した更新を実現します。