arXiv 2611.06817
Open-HumanScale:埋め込み型基盤モデルのための人間とロボット経験をスケールさせる公開レシピ
Open-HumanScale: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models
ロボティクス推薦14
著者: Juncheng Ma, Jiaxin Li, Jiankai Tu, Bo Liang, Guodong Lv, Yufan Deng, Junzhe Tang, Liangzhu Yang +23
概要
著者らは、手の動きと自然言語で密にアノテーションされた、キュレーション済みのエゴセントリック動画コーパス Open-HumanScale-50K を中心に、エゴセントリックな人間動画の事前学習を50,000時間まで拡張する完全公開のレシピ Open-HumanScale を発表します。人間の動画のみで事前学習した world–action モデル HumanWAM-Vanilla と、人間とロボットの共同データで学習した視覚ゴール条件付きの HumanWAM-Goal を開発しました。
はじめに
生のエゴセントリック人間動画は、ロボットの操作に役立つ事前知識を提供しうるものの、そのデータ規模を汎化可能なロボット方策へと転換するには、厳密なデータキュレーションと学習レシピが必要です。
結果
事後学習済みの HumanWAM-Goal は、RoboTwin 2.0 の Clean2Clean で92.70%、Clean2Random で84.60%に達し、新たな最先端水準を示しました。人間の動画のみでの事前学習では、事前学習時間とロボットの成功率の間に経験的な対数線形のスケーリング則が見られました。
結論
コーパス、パイプライン、チェックポイント、評価スイートを公開することで、本研究は人間動画による事前学習のスケーリングを研究するための再現可能な基盤を埋め込みAIコミュニティに提供します。