arXiv 2610.22744
OmniXRef：マルチモーダル・複数参照によるビデオ編集のための統一フレームワーク
OmniXRef: A Unified Framework for Multimodal Multi-Reference Video Editing
AI推薦14
著者: Xiaoyan Cong, Tianyu Wang, Hyeonho Jeong, Zhifei Zhang, Yuqian Zhou, Yijun Li, Shaoteng Liu, Zhe Lin +2
概要
本論文は、テキスト、画像、ビデオの参照を任意に組み合わせてビデオを編集できるOmniXRefフレームワークを提案します。OmniXRef-Modelは、ソースビデオとMLLMの文脈を一つのインターリーブ系列として処理するシングルストリーム拡散トランスフォーマーを用い、参照バンクの入力設計とR^2-RoPEによって多数の参照に対応します。さらに、合成パイプラインによるOmniXRef-Dataと、ビデオ参照による属性転写を評価するOmniXRef-Benchを構築します。
はじめに
ビデオ編集の意図はテキスト、画像参照、ビデオ参照、あるいはそれらの組み合わせで表現できますが、既存手法は一度に一部の制御方式しか扱えません。ビデオ参照は学習データが乏しいため、制御信号として使うのが特に困難です。
結果
OmniXRef-Modelは包括的な評価において、タスク特化型のベースラインと商用モデルの両方を上回ります。ベンチマークは、カメラ、モーション、コンテンツ、スタイル、視覚効果（VFX）にわたる転写性能を測定します。
結論
テキスト、画像、ビデオ参照の多様な組み合わせを受け付ける単一モデルは、制御可能なビデオ編集を実務者にとってより柔軟なものにする可能性があります。