arXiv 2611.08373
SLA: 継続事前学習による空間-言語-行動モデルのスケーリング
SLA: Scaling Spatial-Language-Action Model via Continual Pre-training
ロボティクス推薦48
著者: Fuhao Li, Wenxuan Song, Qizhou Huang, Ziyang Zhou, Jingbo Wang, Junwu E, Pengwei Wang, Yan Wang +2
概要
著者らは、事前学習済みのpi05ポリシーから初期化した空間-言語-行動モデルSLAを提案します。継続事前学習中に、行動予測と、VLAの中間視覚埋め込みと凍結された3D知覚モデルの特徴との整合を同時に最適化し、特徴依存ゲートと確率的状態ドロップアウトを用います。補助コンポーネントはすべて学習時のみ使用されるため、元の推論アーキテクチャは保たれます。
はじめに
ロボット操作には意味理解と精密な3次元制御の両方が必要ですが、視覚-言語-行動モデルは主に2D視覚表現を引き継ぎ、空間的な教師信号はタスク固有の適応段階で初めて加えられることが多いです。そのため、空間理解を基盤モデル自体に組み込む必要があります。
結果
要旨には定量的な結果は示されていません。SLAの空間的整合は下流の事後学習中も維持され、事前学習済みVLAの重みをそのまま再利用できると述べています。
結論
推論アーキテクチャを変えずにVLAの事前学習に空間的整合を組み込むことは、ロボット基盤モデルに転移可能な3D理解を与える実用的な方法です。