arXiv 2610.22744
OmniXRef: Khung thống nhất cho chỉnh sửa video đa phương thức với nhiều tham chiếu
OmniXRef: A Unified Framework for Multimodal Multi-Reference Video Editing
AI14 lượt đề xuất
Tác giả: Xiaoyan Cong, Tianyu Wang, Hyeonho Jeong, Zhifei Zhang, Yuqian Zhou, Yijun Li, Shaoteng Liu, Zhe Lin +2
Tổng quan
Nghiên cứu giới thiệu OmniXRef, một khung cho phép người dùng chỉnh sửa video bằng cách kết hợp tùy ý văn bản, ảnh và video tham chiếu. OmniXRef-Model sử dụng một diffusion transformer dạng luồng đơn, xử lý đồng thời video nguồn và ngữ cảnh từ MLLM trong một chuỗi xen kẽ, với thiết kế đầu vào dạng ngân hàng tham chiếu và R^2-RoPE để hỗ trợ nhiều tham chiếu hơn. Nhóm tác giả cũng xây dựng OmniXRef-Data bằng các quy trình tổng hợp và đưa ra OmniXRef-Bench để đánh giá việc chuyển thuộc tính từ video tham chiếu.
Giới thiệu
Ý định chỉnh sửa video có thể được thể hiện bằng văn bản, ảnh tham chiếu, video tham chiếu hoặc sự kết hợp của chúng, nhưng các phương pháp hiện có chỉ xử lý một số loại điều khiển cùng lúc. Video tham chiếu đặc biệt khó dùng làm tín hiệu điều khiển vì dữ liệu huấn luyện cho loại này rất hiếm.
Kết quả
OmniXRef-Model vượt trội hơn cả các mô hình cơ sở chuyên biệt cho từng tác vụ lẫn các mô hình thương mại trong đánh giá toàn diện. Benchmark đo khả năng chuyển giao trên Camera, Motion, Content, Style và Visual Effects (VFX).
Kết luận
Một mô hình duy nhất chấp nhận nhiều tổ hợp tham chiếu văn bản, ảnh và video có thể giúp chỉnh sửa video có kiểm soát trở nên linh hoạt hơn nhiều cho người dùng thực tế.