arXiv 2610.09221
데이터 없는 디퓨전 증류를 위한 일관된 분포 매칭 (Consistent Distribution Matching)
Consistent Distribution Matching for Data-Free Diffusion Distillation
AI추천 12
저자: Yuxiang Fu, Qi Yan, Zike Wu, Yongxing Zhang, Purang Abolmaesumi, Lele Wang, Renjie Liao
개요
저자들은 시뮬레이션과 데이터가 필요 없는 증류 방법인 Consistent Distribution Matching을 제안합니다. 이 방법은 샘플 생성과 스코어 추정을 하나의 학생 네트워크가 함께 담당하여 디퓨전 및 플로우 모델을 증류합니다. 고정된 교사 모델과 학습 가능한 학생 모델만 필요하며, 하나의 목적 함수로 최적화합니다. 저자들은 이 목적 함수를 최소화하면 학생 모델의 플로우 맵 푸시포워드가 교사 모델의 주변분포로 와서스타인 수렴한다는 것을 증명합니다.
소개
플로우 및 디퓨전 모델은 고품질 샘플을 생성하지만, 계산 비용이 큰 수치 적분에 의존하기 때문에 추론 속도가 느립니다. 기존 증류 방법은 큐레이션된 데이터셋, 비용이 큰 교사 롤아웃, 또는 보조 프록시 네트워크를 요구하는 경우가 많아 학습과 확장을 어렵게 만듭니다.
결과
ImageNet 256×256에서 이 방법은 한 번의 함수 평가(1-NFE)로 FID 2.04를 달성하며, 데이터를 사용하지 않는 최신 증류 기준선을 능가합니다. 4-NFE에서는 40 에폭의 학습 내에 FID 1.37에 도달합니다.
결론
훈련 데이터나 보조 네트워크 없이도 디퓨전 및 플로우 모델을 한 단계 또는 소수 단계로 가속하면서 강한 생성 품질을 유지할 수 있음을 보여주며, 이는 모델 확장을 단순하게 만든다는 점에서 의미가 있습니다.