arXiv 2610.09221
Khớp phân phối nhất quán cho chưng cất mô hình khuếch tán không cần dữ liệu (Consistent Distribution Matching)
Consistent Distribution Matching for Data-Free Diffusion Distillation
AI12 lượt đề xuất
Tác giả: Yuxiang Fu, Qi Yan, Zike Wu, Yongxing Zhang, Purang Abolmaesumi, Lele Wang, Renjie Liao
Tổng quan
Các tác giả đề xuất Consistent Distribution Matching, một phương pháp chưng cất không cần mô phỏng và không cần dữ liệu cho mô hình khuếch tán và mô hình luồng. Phương pháp này dùng một mạng sinh viên duy nhất đảm nhiệm cả việc sinh mẫu lẫn ước lượng hàm điểm. Khung này chỉ cần một mô hình giáo viên đông lạnh và một mô hình sinh viên huấn luyện được, và tối ưu hóa bằng một hàm mục tiêu duy nhất. Các tác giả chứng minh rằng cực tiểu hóa hàm mục tiêu này dẫn đến hội tụ Wasserstein của ánh xạ đẩy tiến luồng của sinh viên về các biên phân phối của giáo viên.
Giới thiệu
Mô hình luồng và mô hình khuếch tán tạo ra mẫu chất lượng cao nhưng suy luận chậm do phụ thuộc vào phép tích phân số tốn kém. Các phương pháp chưng cất hiện có thường cần tập dữ liệu được tuyển chọn, quá trình chạy thử giáo viên tốn kém, hoặc mạng proxy phụ trợ, làm việc huấn luyện và mở rộng trở nên phức tạp.
Kết quả
Trên ImageNet 256×256, phương pháp đạt FID 2,04 với một lần đánh giá hàm (1-NFE), vượt các baseline chưng cất tiên tiến không dùng dữ liệu. Với 4-NFE, phương pháp đạt FID 1,37 chỉ sau 40 epoch huấn luyện.
Kết luận
Kết quả cho thấy có thể tăng tốc mô hình khuếch tán và mô hình luồng xuống một hoặc vài bước mà không cần dữ liệu huấn luyện hay mạng phụ trợ, vẫn giữ chất lượng sinh mạnh, qua đó đơn giản hóa việc mở rộng mô hình.