arXiv 2610.27851
LaLa-World: 自然言語アクションによる潜在世界モデルのスケーリング
LaLa-World: Scaling Latent World Models with Natural Language Actions
AI推薦27
著者: Junha Song, Geonmo Gu, Jeongeun Park, Heejeong Nam, Lucas Maes, Byeongho Heo, Dongyoon Han, Sangdoo Yun
概要
本研究は、ビデオ生成モデルの言語条件付きインターフェースを採用することで、JEPA型の潜在世界モデル(LWM)が多様なドメインとデータソースから学習できることを示します。数値アクションと視覚的変化の両方を言語で記述し、言語モデル上に未来予測器を構築するLaLa-Worldを提案し、異種データセットで単一の予測器を共同学習できるようにしました。事前学習済みモデルは、アクションと将来の視覚表現を同時に予測するLaLa-Policyの初期化にも用いられます。
はじめに
潜在世界モデルは多様なドメインやデータソースから学習する必要がありますが、既存のモデルは通常ドメインやタスクごとに個別に学習されています。異種データで一つの予測器を学習するには、アクションと条件のための共通インターフェースが必要です。
結果
LaLa-Worldは、ドメインやタスクごとに個別に学習された既存のLWMよりも平均MPC計画性能が高いです。RAEv2ベースのビデオ生成モデルとの条件を揃えた比較では、学習コストが6分の1、計画速度が13.9倍で、同程度の計画性能に到達します。
結論
これは、計画や方策の微調整に再利用できる、低コストでスケーラブルな言語条件付き世界モデルへの実用的な道筋を示しています。