arXiv 2610.21783
3D世界で考え、探索することの学習
Learning to Think and Explore in 3D World
AI推薦89
著者: Yijiang Li, Bingyang Wang, Nuno Vasconcelos
概要
著者らは、視覚言語モデルに一度に一枚の一人称視点画像を与え、「左に移動」などの行動によって3D環境を探索させながら3Dシーンを推論させる手法を提案しています。モデルはまず軌跡による教師ありファインチューニングを受け、その後は主に最終回答の正しさに基づく報酬で強化学習されます。どの視点を訪れるかについての直接の教師信号はありません。得られたモデルACT3Dは、自ら探索方策を学習します。
はじめに
視覚言語モデルは本来単一画像を処理しますが、多くの3D質問は初期視点では見えない視点からの証拠を必要とします。
結果
ACT3Dは6つの3Dベンチマークで平均53.2%の精度を達成し、基盤モデルQwenを22.0%上回り、商用モデルGemini 3.6 Flashを凌駕しました。基盤モデルに対する改善幅は、初期視点だけで答えられる質問の0.6%から、広範な探索を要する質問の16.3%へと拡大します。
結論
結果に基づく強化学習により、VLMは視覚的証拠を推論するだけでなく、いつ、どのようにそれを取得すべきかも学習できます。