arXiv 2610.09221
データフリー拡散モデル蒸留のための一貫した分布マッチング（Consistent Distribution Matching）
Consistent Distribution Matching for Data-Free Diffusion Distillation
AI推薦12
著者: Yuxiang Fu, Qi Yan, Zike Wu, Yongxing Zhang, Purang Abolmaesumi, Lele Wang, Renjie Liao
概要
著者らは、シミュレーションもデータも不要な蒸留手法 Consistent Distribution Matching を提案します。この手法では、サンプル生成とスコア推定の両方を1つの生徒ネットワークが担い、拡散モデルとフローモデルを蒸留します。必要なのは固定された教師モデルと学習可能な生徒モデルだけで、単一の目的関数で最適化されます。著者らは、この目的関数を最小化すると生徒モデルのフローマップのプッシュフォワードが教師モデルの周辺分布へワッサースタイン収束することを証明しています。
はじめに
フローモデルや拡散モデルは高品質なサンプルを生成できますが、計算コストの高い数値積分に依存するため推論が遅くなります。既存の蒸留手法は、厳選されたデータセット、高コストな教師のロールアウト、補助的なプロキシネットワークを必要とすることが多く、学習やスケーリングを複雑にしています。
結果
ImageNet 256×256において、本手法は1回の関数評価（1-NFE）でFID 2.04を達成し、データを用いない最先端の蒸留ベースラインを上回ります。4-NFEでは、40エポックの学習内でFID 1.37に到達します。
結論
学習データや補助ネットワークを使わずに、拡散モデルやフローモデルを1ステップまたは少数ステップに高速化しつつ強い生成品質を保てることを示しており、モデルのスケーリングを簡素化する点で重要です。