arXiv 2611.06741
TailSteer: Điều hướng đuôi quỹ đạo cho chỉnh sửa ảnh nhiều lượt chống trôi dạt
TailSteer: Trajectory-Tail Steering for Drift-Resistant Multi-turn Image Editing
AI35 lượt đề xuất
Tác giả: Ruikang Li, Zixuan Chen, Jiarui Wu, Mingde Yao, Yiyuan Zhang, Yujin Wang, Hanming Deng, Lewei Lu +1
Tổng quan
Các tác giả đề xuất TailSteer, một khung huấn luyện giai đoạn cuối giúp mô hình chỉnh sửa ảnh ổn định hơn qua nhiều lượt chỉnh sửa liên tiếp. Khung này giữ động học khử nhiễu ban đầu gần với mô hình gốc và học các hiệu chỉnh bảo toàn gần đuôi quỹ đạo, dựa trên các rollout on-policy của chính mô hình với nội dung ảnh gốc làm tham chiếu.
Giới thiệu
Những thay đổi nhỏ ngoài ý muốn sẽ tích lũy khi kết quả chỉnh sửa được dùng lại qua nhiều lượt, gây ra hiện tượng trôi dạt hình ảnh nghiêm trọng. Các giải pháp hiện có hoặc huấn luyện lại trên dữ liệu nhiều lượt, làm thay đổi kiến thức tiền huấn luyện, hoặc dựa vào cơ chế suy luận khó mở rộng cho mô hình nền tảng.
Kết quả
TailSteer giảm đáng kể độ trôi dạt tích lũy qua 15–20 lượt chỉnh sửa trên các họ mô hình FLUX, SenseNova và Qwen. Đồng thời, nó giữ được phần lớn hiệu năng của mô hình gốc trên các bộ đánh giá tạo ảnh từ văn bản và chỉnh sửa ảnh đơn.
Kết luận
Kết quả cho thấy có thể bổ sung khả năng chỉnh sửa dài hạn ổn định cho các mô hình nền tảng hiện có mà không cần huấn luyện lại năng lực cốt lõi, điều quan trọng cho chỉnh sửa nhiều lượt trong thực tế.