arXiv 2611.08373
SLA: Mở rộng mô hình Không gian-Ngôn ngữ-Hành động bằng tiền huấn luyện liên tục
SLA: Scaling Spatial-Language-Action Model via Continual Pre-training
Robot48 lượt đề xuất
Tác giả: Fuhao Li, Wenxuan Song, Qizhou Huang, Ziyang Zhou, Jingbo Wang, Junwu E, Pengwei Wang, Yan Wang +2
Tổng quan
Các tác giả giới thiệu SLA, một mô hình Không gian-Ngôn ngữ-Hành động được khởi tạo từ chính sách pi05 đã huấn luyện trước. Trong quá trình tiền huấn luyện liên tục, mô hình đồng thời tối ưu hóa việc dự đoán hành động và căn chỉnh giữa các embedding thị giác trung gian của VLA với đặc trưng từ một mô hình nhận thức 3D đóng băng, sử dụng các cổng phụ thuộc đặc trưng và bỏ qua trạng thái ngẫu nhiên. Mọi thành phần phụ chỉ dùng trong huấn luyện, nên kiến trúc suy luận gốc được giữ nguyên.
Giới thiệu
Thao tác robot cần cả hiểu ngữ nghĩa lẫn điều khiển chính xác trong không gian ba chiều, nhưng các mô hình thị giác-ngôn ngữ-hành động chủ yếu kế thừa biểu diễn thị giác 2D và chỉ bổ sung giám sát không gian trong giai đoạn thích nghi theo tác vụ. Vì vậy, hiểu biết không gian cần được tích hợp vào chính mô hình nền tảng.
Kết quả
Tóm tắt không báo cáo kết quả định lượng. Nó nêu rằng việc căn chỉnh không gian của SLA được duy trì trong giai đoạn hậu huấn luyện theo tác vụ và có thể tái sử dụng trực tiếp trọng số VLA đã huấn luyện trước.
Kết luận
Đưa căn chỉnh không gian vào tiền huấn luyện VLA mà không thay đổi kiến trúc suy luận là cách thiết thực để mang lại khả năng hiểu 3D có thể chuyển giao cho các mô hình nền tảng robot.