arXiv 2611.06817
Open-HumanScale: Công thức mở để mở rộng kinh nghiệm con người và robot cho các mô hình nền tảng embodied
Open-HumanScale: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models
Robot14 lượt đề xuất
Tác giả: Juncheng Ma, Jiaxin Li, Jiankai Tu, Bo Liang, Guodong Lv, Yufan Deng, Junzhe Tang, Liangzhu Yang +23
Tổng quan
Các tác giả công bố Open-HumanScale, một công thức mở để mở rộng tiền huấn luyện trên video egocentric của con người lên 50.000 giờ, xây dựng quanh kho dữ liệu đã được chọn lọc Open-HumanScale-50K có chú thích chuyển động tay và ngôn ngữ tự nhiên. Họ huấn luyện HumanWAM-Vanilla, một mô hình world–action chỉ được tiền huấn luyện trên video con người, và HumanWAM-Goal, biến thể có điều kiện theo mục tiêu hình ảnh, được huấn luyện với dữ liệu kết hợp người–robot.
Giới thiệu
Video egocentric thô của con người có thể cung cấp các tiên nghiệm thao tác hữu ích cho robot, nhưng để biến quy mô dữ liệu này thành chính sách robot có khả năng tổng quát hóa cần có việc chọn lọc dữ liệu và công thức huấn luyện cẩn thận.
Kết quả
HumanWAM-Goal sau khi hậu huấn luyện đạt 92,70% trên RoboTwin 2.0 Clean2Clean và 84,60% trên Clean2Random, các mức cao nhất mới. Riêng việc tiền huấn luyện bằng video con người cho thấy quy luật tỉ lệ log-tuyến tính thực nghiệm giữa số giờ tiền huấn luyện và tỉ lệ thành công của robot.
Kết luận
Bằng cách công khai kho dữ liệu, quy trình, checkpoint và bộ đánh giá, công trình này cung cấp cho cộng đồng AI embodied một nền tảng có thể tái lập để nghiên cứu việc mở rộng tiền huấn luyện bằng video con người.