arXiv 2610.23181
Chưng cất hậu nghiệm nhận biết cây cho học tăng cường tác tử tầm xa
Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
AI27 lượt đề xuất
Tác giả: Heming Zou, Qi Wang, Yixiu Mao, Yun Qu, Yuyi Guo, Zeyuan Liu, Chenglin Li, Weijie Liu +2
Tổng quan
Các tác giả đề xuất TreeOPSD, một khung làm việc không cần critic, phân nhánh các phần tiếp nối thay thế từ tiền tố chung, lan truyền phần thưởng cuối về tín dụng ở cấp lượt, và ánh xạ mỗi tín dụng sang một phân phối giáo viên có dạng đóng, bị chặn. Việc cực tiểu hóa độ phân kỳ giữa giáo viên và chính sách học sinh khôi phục hướng gradient chính sách, đồng thời giữ các cập nhật mini-batch tuần tự quanh một mục tiêu hữu hạn.
Giới thiệu
Huấn luyện tác tử qua chuỗi dài chỉ với phần thưởng cuối khiến tín dụng ở cấp lượt thưa và phương sai cao, trong khi các cập nhật lặp lại trên cùng một batch rollout gây ra hiện tượng chính sách lỗi thời mà kỹ thuật cắt (clipping) chưa kiểm soát đầy đủ.
Kết quả
TreeOPSD nâng độ chính xác trung bình của Qwen3-30B-A3B-Thinking-2507 thêm 4,97 điểm so với GRPO trong thiết lập Deep Research. Cải thiện này được ghi nhận trên nhiều benchmark và nhiều quy mô mô hình, với lợi ích lớn nhất ở các tác vụ tầm xa.
Kết luận
TreeOPSD mang lại tín dụng dày đặc hơn và cập nhật ổn định hơn mà không cần mạng giá trị, chú thích cấp bước hay một giáo viên bên ngoài mạnh hơn.