arXiv 2610.14746
BridgeWAM:Latent Bridge Queriesによるビデオ・アクション・エキスパートの橋渡し
BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries
ロボティクス推薦32
著者: Jiaxin Fang, Ruitong Liu, Zeyu Lai, Xingyu Wang, Mingyuan Jia, Pingyue Sheng, Weikang Wan, Mengdi Xu +1
概要
著者らは、Bridge-of-Experts(BoE)を提案し、その実装であるBridgeWAMを示します。BridgeWAMは、視覚・言語・固有受容感覚の事前情報を32個のLatent Bridge Queries(LBQ)を通じて、共有された制限付きの潜在空間に集約します。Video ExpertとAction Expertの深さは分離されており(それぞれ30層と2層)、Action Expertはクロスアテンションによりタスクに関連する情報を選択的に取得します。ビデオとアクションの同時学習により、アクションの勾配がビデオ表現をアクション予測に適したものへと調整します。
はじめに
World Action Modelsは通常、密な層単位のMixture-of-Transformersアテンションでビデオ・エキスパートとアクション・エキスパートを結合します。これによりアクション予測が無関係な視覚特徴にさらされ、両エキスパートの深さを揃える必要が生じ、計算の冗長性も生まれます。
結果
BridgeWAMは、LIBEROで98.25%、LIBERO-Plusで72.24%のプール成功率を達成しました。Fast-WAMと比べて、単一サンプルの推論FLOPsを28.72%削減し、実機のレイテンシは77.1 msとなり、2.47倍の高速化を実現しています。
結論
ビデオ・エキスパートとアクション・エキスパートの間に選択的で軽量な橋渡しを設けることで、ロボット制御における汎化性能と効率を同時に高められることを示しています。