EXPLORINEER
vi

arXiv 2611.06817

Open-HumanScale: Công thức mở để mở rộng kinh nghiệm con người và robot cho các mô hình nền tảng embodied

Open-HumanScale: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models

Robot14 lượt đề xuất

Tác giả: Juncheng Ma, Jiaxin Li, Jiankai Tu, Bo Liang, Guodong Lv, Yufan Deng, Junzhe Tang, Liangzhu Yang +23

Tổng quan

Các tác giả công bố Open-HumanScale, một công thức mở để mở rộng tiền huấn luyện trên video egocentric của con người lên 50.000 giờ, xây dựng quanh kho dữ liệu đã được chọn lọc Open-HumanScale-50K có chú thích chuyển động tay và ngôn ngữ tự nhiên. Họ huấn luyện HumanWAM-Vanilla, một mô hình world–action chỉ được tiền huấn luyện trên video con người, và HumanWAM-Goal, biến thể có điều kiện theo mục tiêu hình ảnh, được huấn luyện với dữ liệu kết hợp người–robot.

Giới thiệu

Video egocentric thô của con người có thể cung cấp các tiên nghiệm thao tác hữu ích cho robot, nhưng để biến quy mô dữ liệu này thành chính sách robot có khả năng tổng quát hóa cần có việc chọn lọc dữ liệu và công thức huấn luyện cẩn thận.

Kết quả

HumanWAM-Goal sau khi hậu huấn luyện đạt 92,70% trên RoboTwin 2.0 Clean2Clean và 84,60% trên Clean2Random, các mức cao nhất mới. Riêng việc tiền huấn luyện bằng video con người cho thấy quy luật tỉ lệ log-tuyến tính thực nghiệm giữa số giờ tiền huấn luyện và tỉ lệ thành công của robot.

Kết luận

Bằng cách công khai kho dữ liệu, quy trình, checkpoint và bộ đánh giá, công trình này cung cấp cho cộng đồng AI embodied một nền tảng có thể tái lập để nghiên cứu việc mở rộng tiền huấn luyện bằng video con người.

Nguồn: Đọc bài báo trên arXiv ↗

Bài giải thích này được AI viết lại bằng lời dễ hiểu từ bài gốc. Hãy kiểm tra bài gốc để xác nhận thông tin.

Cùng một tin, nhiều góc nhìn