arXiv 2610.28402
StreamEval: Đánh giá các mô hình tạo video phát trực tuyến tương tác
StreamEval: Evaluating Interactive Streaming Video Generation Models
AI330 lượt đề xuất
Tác giả: StreamEval Team
Tổng quan
Nghiên cứu giới thiệu StreamEval, một bộ benchmark thống nhất cho việc tạo video phát trực tuyến tương tác. Bộ benchmark gồm 300 test case có kịch bản trên năm tác vụ (đối thoại avatar, trình diễn avatar, tạo thế giới, chỉnh sửa theo chỉ dẫn, chỉnh sửa theo tham chiếu), được chấm điểm bằng mười chỉ số riêng cho từng tác vụ trên bốn chiều đánh giá.
Giới thiệu
Khi việc tạo video phát trực tuyến tiến bộ, tương tác thời gian thực với video được tạo ra ngày càng quan trọng, nhưng chưa có cách đánh giá thống nhất. Các phương pháp đánh giá hiện có chưa bao quát các yêu cầu đa phương thức đến dần theo thời gian cùng yêu cầu duy trì trạng thái và nội dung.
Kết quả
Việc thực thi yêu cầu vẫn là nút thắt chính: điểm cao nhất theo từng tác vụ chỉ là 36.90 (Following, trình diễn avatar, trong bảy mô hình) và 25.93 (Following, tạo thế giới có điều kiện văn bản). Chất lượng hình ảnh cao và việc giữ được danh tính không luôn dẫn đến việc thực thi yêu cầu đáng tin cậy hoặc duy trì trạng thái nhất quán.
Kết luận
Việc thực thi yêu cầu đáng tin cậy dưới các ràng buộc về thời gian và bảo toàn nội dung là thách thức trung tâm để phát triển các hệ thống tương tác thời gian thực đa phương thức.