arXiv 2610.30320
Tự chưng cất biểu diễn video tương lai cho World Action Models
Self-Distilling Future Video Representations for World Action Models
AI23 lượt đề xuất
Tác giả: Huiwon Jang, Suhyeok Jang, Hyeonmo Kang, Seungku Kim, Jinwoo Shin, Sihyun Yu
Tổng quan
Các tác giả giới thiệu FRED, một khung huấn luyện World Action Models (WAM) nhằm cải thiện chất lượng biểu diễn video tương lai được trích xuất từ một bước khử nhiễu duy nhất. FRED sử dụng tự chưng cất để dự đoán biểu diễn tương lai từ nhiễu, với mục tiêu là biểu diễn lấy từ quan sát tương lai thực tế, đồng thời điều kiện mô hình video trên các quan sát quá khứ để cung cấp ngữ cảnh thời gian.
Giới thiệu
Các WAM hiệu quả dựa vào biểu diễn video tương lai trung gian từ một bước khử nhiễu, nên chất lượng dự đoán hành động phụ thuộc trực tiếp vào chất lượng biểu diễn này. Thách thức là nâng cao chất lượng đó mà không cần khử nhiễu lặp tốn kém.
Kết quả
FRED vượt trội một cách nhất quán so với các WAM cạnh tranh trong các tình huống thao tác thực tế, với mức cải thiện lớn nhất ở các tác vụ dài hạn và ngoài miền dữ liệu trong điều kiện tổng quát hóa môi trường zero-shot. Trên các tác vụ không có trong dữ liệu huấn luyện robot và chỉ được minh họa qua video người, FRED đạt tỷ lệ thành công 50.0%, so với 19.4% của WAM cạnh tranh tốt nhất.
Kết luận
Cải thiện biểu diễn tương lai trong một bước giúp WAM hiệu quả hơn, tổng quát hóa tốt hơn và chuyển giao kỹ năng từ video người sang robot tốt hơn.