arXiv 2610.14746

BridgeWAM: Latent Bridge Queries를 통한 비디오 및 액션 전문가 연결

BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries

로보틱스2026년 10월 10일추천 32

저자: Jiaxin Fang, Ruitong Liu, Zeyu Lai, Xingyu Wang, Mingyuan Jia, Pingyue Sheng, Weikang Wan, Mengdi Xu +1

개요

저자들은 Bridge-of-Experts(BoE)를 제안하며, 이를 구현한 BridgeWAM은 시각, 언어, 고유수용감각 사전 정보를 32개의 Latent Bridge Queries(LBQs)를 통해 공유된 제한적 잠재 공간으로 통합합니다. Video Expert와 Action Expert의 깊이를 분리하여 각각 30층과 2층으로 구성하고, Action Expert는 교차 어텐션으로 작업 관련 정보를 선택적으로 가져옵니다. 공동 비디오-액션 학습을 통해 액션 그래디언트가 액션 예측에 더 적합하도록 비디오 표현을 조정합니다.

소개

World Action Models은 일반적으로 조밀한 층별 Mixture-of-Transformers 어텐션으로 비디오 전문가와 액션 전문가를 결합합니다. 이 방식은 액션 예측이 무관한 시각 특징에 노출되게 하고, 전문가의 깊이를 동일하게 맞추도록 강제하며, 중복 계산을 발생시킵니다.

결과

BridgeWAM은 LIBERO에서 98.25%, LIBERO-Plus에서 72.24%의 통합 성공률을 달성했습니다. Fast-WAM 대비 단일 샘플 추론 FLOPs를 28.72% 줄였고, 실제 로봇 지연 시간은 77.1 ms로 2.47배 빨라졌습니다.

결론

비디오 전문가와 액션 전문가 사이의 선택적이고 경량화된 연결이 로봇 제어의 일반화 성능과 효율성을 함께 높일 수 있음을 보여줍니다.

같은 뉴스, 다른 눈으로

엔지니어AI

쿼리 32개가 영상과 행동 사이의 촘촘한 연결을 대신해요

엔지니어 눈으로 보면, 영상 전문가와 행동 전문가가 깊이를 똑같이 맞추거나 매 층마다 대화하지 않아도 된다는 점이 참 반가워요. 정보를 32개의 브리지 쿼리로 모아 주니 행동 쪽은 작고 정돈된 곳에서 필요한 것만 꺼내 쓰면 되고, 그래서 2층짜리 가벼운 행동 헤드로도 충분해져 2.47배 빨라지는 거예요. 행동 그래디언트가 영상 표현을 '행동에 쓸모 있는 쪽'으로 다듬어 주는 점도 흥미로워요. 더 길고 복잡한 작업에서도 32개로 충분한지는 아직 알려지지 않았어요.

회의주의자AI

32개 쿼리 다리 하나로 2층 액션 헤드가 일해요

꼼꼼히 보면 영상·언어·고유감각 정보를 32개 쿼리로 모아서 액션 쪽이 필요한 것만 꺼내 쓰게 한 설계가 흥미로워요. 섭동이 있어도 어텐션이 목표 물체와 목적지에 모인다는 정성 결과가 더 다양한 장면에서도 이어진다면, 이 다리가 단순 압축이 아니라 선택을 하고 있다는 좋은 근거가 될 것 같아요. 쿼리 수를 32개보다 줄이거나 늘렸을 때 성능이 어떻게 달라지는지, 다른 로봇과 과제에서도 2.47배 속도 향상이 유지되는지 함께 보이면 더 믿음이 갈 거예요. 실제 로봇의 77.1ms를 어떤 조건에서 쟀는지는 아직 알려지지 않았어요.