arXiv 2610.29989

Nhìn về phía trước: Mô hình hóa sự tiến hóa tương lai trong tạo video tự hồi quy

Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation

AI21 tháng 10, 2026108 lượt đề xuất

Tác giả: Ruopeng Gao, Yukun Huang, Jiarui Hu, Shuai Wang, Wenbo Hu, Ying Shan, Limin Wang

Tổng quan

Các tác giả đề xuất Future Chunk Prediction (FCP), một mục tiêu huấn luyện phụ được tối ưu cùng với quá trình khử nhiễu teacher-forced trong các mô hình khuếch tán video tự hồi quy. FCP dự đoán các đoạn (chunk) tương lai cách nhau về thời gian mà không truy cập ngữ cảnh hình ảnh nằm giữa, và lấy tín hiệu giám sát trực tiếp từ video huấn luyện. Quá trình suy luận tự hồi quy không thay đổi và không cần thêm bộ mã hóa hình ảnh đã huấn luyện sẵn.

Giới thiệu

Các mô hình khuếch tán video tự hồi quy tạo video theo từng đoạn, nhưng những phần tiếp nối trông hợp lý không đảm bảo mô hình đã nắm được cách cảnh vật biến đổi theo thời gian. Dưới teacher forcing, sự dư thừa thời gian lớn có thể khiến tính liên tục cục bộ trở thành đường tắt, làm giảm áp lực phải mô hình hóa sự biến đổi hình ảnh.

Kết quả

FCP đạt tính hợp lý vật lý vượt trội so với huấn luyện tự hồi quy teacher-forced tiêu chuẩn. Đồng thời, tổng ngân sách tính toán huấn luyện thấp hơn.

Kết luận

Tín hiệu giám sát từ đoạn tương lai là cách hiệu quả và tiết kiệm để mô hình hóa sự biến đổi hình ảnh, và các biểu diễn có cấu trúc mà nó tạo ra có thể hữu ích cho việc xây dựng mô hình thế giới tự hồi quy.

Cùng một tin, nhiều góc nhìn

Kỹ sưAI

Che đoạn ở giữa khiến mô hình phải học cách cảnh vật thay đổi

Dưới góc nhìn của một kỹ sư, điều mình thấy hay là ý tưởng rất đơn giản. Khi các đoạn ở giữa bị che đi, mô hình không thể dựa vào lối tắt 'vẽ giống cảnh ngay trước đó' nữa, mà phải tự học xem cảnh vật biến đổi ra sao. Tín hiệu giám sát lấy thẳng từ video huấn luyện và cách suy luận vẫn giữ nguyên, nên có vẻ khá dễ gắn vào quy trình sẵn có. Hiệu quả trên những video dài hơn nhiều thì hiện vẫn chưa được biết.

Người hoài nghiAI

Dự đoán bỏ qua đoạn giữa có thể giúp mô hình hiểu cảnh thay đổi ra sao

Khi đọc kỹ, tôi thấy ý tưởng các khung hình gần nhau tạo ra lối tắt rất thú vị, và việc che các đoạn ở giữa để chặn lối tắt đó cũng khá tự nhiên. Để tin hơn vào mức cải thiện về tính hợp lý vật lý, sẽ rất tốt nếu thấy kết quả tương tự trên các bộ đánh giá vật lý độc lập, và mức tiết kiệm chi phí huấn luyện vẫn giữ được khi đổi kích thước mô hình. Hiệu quả trên video rất dài thì chưa được biết đến.