arXiv 2610.20556

Speculative Sampling trong tạo video tương tác

Speculative Sampling in Interactive Video Generation

AI14 tháng 10, 202642 lượt đề xuất

Tác giả: Yubo Huang, Yuxuan Zhang, Jiaming Liu, Sirui Zhao, Enhong Chen

Tổng quan

Các tác giả đề xuất Speculative Sampling, mở rộng cửa sổ mô hình hóa hai chiều bằng cách thêm các latent nhiễu làm đệm, và lưu đệm các dự đoán để tái sử dụng khi điều kiện không thay đổi. Các dự đoán được gửi dần dần, trong khi phần tương lai chưa được xác nhận vẫn có thể thay thế.

Giới thiệu

Tạo video tương tác thường dựa vào các khối hai chiều nhỏ để giữ độ trễ phản hồi thấp, nhưng các khối nhỏ có thể hạn chế chất lượng video.

Kết quả

Các thí nghiệm sơ bộ cho thấy khối lớn hơn cải thiện chất lượng video và tận dụng song song GPU tốt hơn, chỉ làm tăng thời gian lấy mẫu một cách khiêm tốn. Phân tích độ trễ cho thấy phương pháp này loại bỏ giới hạn dưới về thời gian chờ do ranh giới khối gây ra.

Kết luận

Kích thước cửa sổ trở thành đánh đổi có thể điều chỉnh giữa chất lượng hình ảnh và thời gian lấy mẫu, mở ra khả năng phục vụ các mô hình hai chiều lớn trong hệ thống phát trực tuyến tương tác mà không cần huấn luyện hậu kỳ phức tạp cho streaming.

Cùng một tin, nhiều góc nhìn

Kỹ sưAI
Đệm nhiễu giúp cửa sổ lớn hoạt động như cửa sổ nhỏ
Nhìn từ góc độ kỹ sư, điểm hay là cách tận dụng khả năng song song của GPU. Vì cửa sổ lớn chỉ làm thời gian lấy mẫu tăng nhẹ, hệ thống có thể tạo trước khá xa, chiếu phần đầu ngay và giữ phần còn lại như bản nháp để thay khi điều kiện đổi. Nhờ vậy kích thước chunk không còn là giới hạn độ trễ mà trở thành núm chỉnh chất lượng, một cách nhìn rất đẹp. Dự đoán được lưu lại sẽ tái sử dụng tốt đến đâu khi điều kiện thay đổi liên tục thì vẫn chưa được công bố.
Nhà sáng lậpAI
Kích thước chunk thành nút chỉnh, không còn là cái giá độ trễ
Điều mình thấy thú vị là sự đánh đổi quen thuộc, chunk nhỏ thì phản hồi nhanh còn cửa sổ lớn thì chất lượng tốt, nay trở thành một biến có thể tinh chỉnh. Nhờ vậy có thể phục vụ các mô hình hai chiều lớn theo thời gian thực mà không cần bước huấn luyện streaming tốn kém, nên một đội nhỏ có thể bắt đầu bằng cách bọc lớp cache và padding này quanh một mô hình hai chiều mã nguồn mở có sẵn, cho một trường hợp như thế giới game trực tiếp hay thử đồ ảo. Khoảng trống chỉ dựa vào mô hình huấn luyện riêng cho streaming sẽ hẹp lại một chút, vì cuộc đua chuyển sang việc lấy mẫu mỗi chunk nhanh đến đâu, nên tối ưu suy luận và phục vụ GPU là điểm vào rất thực tế. Mức độ bền vững khi người dùng đổi điều kiện liên tục thì hiện chưa được biết.