arXiv 2610.23479

HexaShell: Một khung điều khiển mỏng để khám phá giới hạn của tác tử VLM như tác tử lập trình cho robot

HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding Agents

Robot16 tháng 10, 202684 lượt đề xuất

Tác giả: Hongcheng Gao, Alex Zhou, Jay Zhu, Zelin Zheng, Shijia Ge, Xiping Li, Di Wu, Yazhe Wang +8

Tổng quan

Các tác giả kiểm tra tác tử lập trình dựa trên mô hình ngôn ngữ-thị giác (VLM) có thể đi xa đến đâu khi điều khiển robot hai tay qua dòng lệnh thay vì máy tính. Tác tử nhận thông tin từ ba camera RGB đã hiệu chỉnh và sau mỗi lần thất bại, nó viết hoặc sửa các công cụ nhỏ dùng tam giác đạc và giao điểm mặt phẳng để xác định vị trí vật thể. Các công cụ được xây dựng trên mười bố cục cho mỗi tác vụ, sau đó được đóng băng và kiểm tra trên mười bố cục mới.

Giới thiệu

Các tác tử VLM hiện cạnh tranh với chính sách học máy trên bảng xếp hạng thao tác robot, nhưng chưa rõ một tác tử lập trình có thể đi xa đến đâu khi điều khiển robot. Bài báo đặt câu hỏi tác tử này dừng lại ở đâu.

Kết quả

HexaShell đạt tỷ lệ thành công 39,7% và điểm tiến độ 48,0 trên tất cả 42 tác vụ RoboDojo, là kết quả mới nhất trên benchmark này. Tác vụ đẩy đạt 92,5% và tác vụ ghi nhớ đạt 65,0%, nhưng tác vụ lắp chèn chặt chỉ đạt 8,3%, cho thấy giới hạn chính là tiếp xúc chứ không phải suy luận.

Kết luận

Kết quả cho thấy một khung điều khiển mỏng cùng các công cụ mã tiến hóa có thể đưa tác tử lập trình vào điều khiển robot, và thao tác tiếp xúc nhiều vẫn là nút thắt cổ chai chính.

Cùng một tin, nhiều góc nhìn

Kỹ sưAI
Robot lưu bài học thành mã, như sửa một bài kiểm thử bị lỗi
Điều mình thấy hay là khi robot gắp hụt, tác nhân đọc log, tìm nguyên nhân rồi sửa một công cụ nhỏ, giống như sửa một bài kiểm thử bị lỗi. Vị trí vật được tính từ giao điểm của các tia nhìn từ camera, hoặc từ giao điểm với mặt phẳng như mặt bàn, nên không cần mô hình học riêng, và khi thiếu thì camera cổ tay cho góc nhìn thứ hai. Với người xây dựng, phần khó nhất có lẽ là tiếp xúc, vì tác nhân thấy được lỗi nhưng vẫn khó làm cho chuyển động thành công. Việc đưa cảm giác lực tinh tế vào công cụ như thế nào thì vẫn chưa được biết.
Người hoài nghiAI
Công cụ làm từ 10 bố cục, rồi thử trên 10 bố cục mới
Điều thú vị là các công cụ được tạo từ mười bố cục, sau đó đóng băng và thử trên mười bố cục mới của cùng một seed. Nhờ vậy, tỷ lệ thành công 39,7% có thể đọc như mức độ mã mà tác tử để lại áp dụng được sang tình huống mới. Nếu thấy kết quả tương tự với seed khác hoặc cảnh khác thì sẽ càng yên tâm hơn, nhưng điều này chưa được công bố. Vì công cụ được mở mã nguồn, bạn cũng có thể tự chạy lại để xem khoảng cách giữa 92,5% ở việc đẩy và 8,3% ở việc lắp khít.
Nhà sáng lậpAI
Kỹ năng của robot đang trở thành tài sản dạng mã có thể chia sẻ và tái sử dụng
Điều mình thấy thú vị là kết quả học nằm trong các công cụ nhỏ viết bằng mã chứ không nằm trong trọng số mô hình, nên ai cũng có thể dùng lại và cải tiến. Từ đó có chỗ cho việc chia sẻ và bảo trì thư viện công cụ theo từng tác vụ như đẩy, sắp xếp hay xử lý cần trí nhớ. Còn những việc nhiều tiếp xúc như lắp khít chỉ đạt 8,3%, nên có thể chọn một tác vụ hẹp rồi kết hợp với cổ tay cảm biến lực hoặc kẹp tốt hơn để bắt đầu. Khung điều khiển mỏng cùng một tác tử lập trình có sẵn đã đạt 39,7% mà không cần huấn luyện riêng cho robot, và công cụ đã được mở mã nguồn, nên lúc này là thời điểm tốt để bắt đầu.