arXiv 2610.28416
Code2Video-Compass: Bộ benchmark toàn diện cho tạo video dựa trên mã đa mục đích qua T2V, I2V và V2V
Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V
AI24 lượt đề xuất
Tác giả: Zhenghan Chen, Zekai Shao, Xin Lin, Leting Cheng, Siming Chen
Tổng quan
Các tác giả xây dựng Code2Video-Compass, một benchmark gồm 2.104 tác vụ tạo video bằng cách viết mã có thể thực thi, trong các thiết lập text-to-video, image-to-video và video-to-video. Các tác vụ trải dài 10 danh mục và 24 nhóm con, và được chấm điểm bằng 12 chỉ số khách quan cùng 5 chỉ số chủ quan do một MLLM đánh giá.
Giới thiệu
Các benchmark hiện có về tạo video bằng mã thường tập trung vào các tác vụ hẹp và chuyên biệt, nên khả năng tạo video hoàn chỉnh trên nhiều danh mục sáng tạo và phương thức đầu vào vẫn chưa được đánh giá đầy đủ.
Kết quả
Khi đánh giá 15 MLLM thương mại và mã nguồn mở trọng số từ chín họ mô hình, ngay cả các mô hình hàng đầu vẫn gặp khó khăn trong việc tạo ổn định video hoàn chỉnh chất lượng cao, khớp với yêu cầu văn bản và hình ảnh. Hiệu năng nhìn chung giảm khi độ phức tạp về cấu trúc, hoạt hình động và phụ thuộc trạng thái tăng lên.
Kết luận
Benchmark này cung cấp cho kỹ sư một cách chuẩn hóa để đo lường và cải thiện khả năng tạo video lập trình đáng tin cậy và có thể kiểm soát.