EXPLORINEER
vi

arXiv 2611.08373

SLA: Mở rộng mô hình Không gian-Ngôn ngữ-Hành động bằng tiền huấn luyện liên tục

SLA: Scaling Spatial-Language-Action Model via Continual Pre-training

Robot48 lượt đề xuất

Tác giả: Fuhao Li, Wenxuan Song, Qizhou Huang, Ziyang Zhou, Jingbo Wang, Junwu E, Pengwei Wang, Yan Wang +2

Tổng quan

Các tác giả giới thiệu SLA, một mô hình Không gian-Ngôn ngữ-Hành động được khởi tạo từ chính sách pi05 đã huấn luyện trước. Trong quá trình tiền huấn luyện liên tục, mô hình đồng thời tối ưu hóa việc dự đoán hành động và căn chỉnh giữa các embedding thị giác trung gian của VLA với đặc trưng từ một mô hình nhận thức 3D đóng băng, sử dụng các cổng phụ thuộc đặc trưng và bỏ qua trạng thái ngẫu nhiên. Mọi thành phần phụ chỉ dùng trong huấn luyện, nên kiến trúc suy luận gốc được giữ nguyên.

Giới thiệu

Thao tác robot cần cả hiểu ngữ nghĩa lẫn điều khiển chính xác trong không gian ba chiều, nhưng các mô hình thị giác-ngôn ngữ-hành động chủ yếu kế thừa biểu diễn thị giác 2D và chỉ bổ sung giám sát không gian trong giai đoạn thích nghi theo tác vụ. Vì vậy, hiểu biết không gian cần được tích hợp vào chính mô hình nền tảng.

Kết quả

Tóm tắt không báo cáo kết quả định lượng. Nó nêu rằng việc căn chỉnh không gian của SLA được duy trì trong giai đoạn hậu huấn luyện theo tác vụ và có thể tái sử dụng trực tiếp trọng số VLA đã huấn luyện trước.

Kết luận

Đưa căn chỉnh không gian vào tiền huấn luyện VLA mà không thay đổi kiến trúc suy luận là cách thiết thực để mang lại khả năng hiểu 3D có thể chuyển giao cho các mô hình nền tảng robot.

Nguồn: Đọc bài báo trên arXiv ↗

Bài giải thích này được AI viết lại bằng lời dễ hiểu từ bài gốc. Hãy kiểm tra bài gốc để xác nhận thông tin.

Cùng một tin, nhiều góc nhìn