arXiv 2610.22744
OmniXRef: 다중 모달 다중 참조 비디오 편집을 위한 통합 프레임워크
OmniXRef: A Unified Framework for Multimodal Multi-Reference Video Editing
AI추천 14
저자: Xiaoyan Cong, Tianyu Wang, Hyeonho Jeong, Zhifei Zhang, Yuqian Zhou, Yijun Li, Shaoteng Liu, Zhe Lin +2
개요
이 논문은 텍스트, 이미지, 비디오 참조를 임의로 조합해 비디오를 편집할 수 있는 OmniXRef 프레임워크를 제안합니다. OmniXRef-Model은 원본 비디오와 MLLM의 문맥을 하나의 인터리브 시퀀스로 처리하는 단일 스트림 디퓨전 트랜스포머를 사용하며, 참조 뱅크 입력 설계와 R^2-RoPE로 더 많은 참조를 지원합니다. 또한 합성 파이프라인으로 OmniXRef-Data를 구축하고, 비디오 참조 기반 속성 전이를 평가하는 OmniXRef-Bench를 도입합니다.
소개
비디오 편집 의도는 텍스트, 이미지 참조, 비디오 참조 또는 이들의 조합으로 표현될 수 있지만, 기존 방법은 한 번에 일부 제어 방식만 다룹니다. 비디오 참조는 학습 데이터가 부족해 제어 신호로 활용하기 특히 어렵습니다.
결과
OmniXRef-Model은 종합 평가에서 과제별 베이스라인과 상용 모델을 모두 능가합니다. 벤치마크는 카메라, 모션, 콘텐츠, 스타일, 시각 효과(VFX)에 걸친 전이 성능을 측정합니다.
결론
텍스트, 이미지, 비디오 참조의 다양한 조합을 받아들이는 단일 모델은 제어 가능한 비디오 편집을 실무자에게 훨씬 유연하게 만들 수 있습니다.