arXiv 2610.14746

BridgeWAM: Kết nối chuyên gia video và hành động qua Latent Bridge Queries

BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries

Robot10 tháng 10, 202632 lượt đề xuất

Tác giả: Jiaxin Fang, Ruitong Liu, Zeyu Lai, Xingyu Wang, Mingyuan Jia, Pingyue Sheng, Weikang Wan, Mengdi Xu +1

Tổng quan

Các tác giả đề xuất Bridge-of-Experts (BoE), được hiện thực hóa thành BridgeWAM, tổng hợp các tiên nghiệm thị giác, ngôn ngữ và cảm nhận bản thể thông qua 32 Latent Bridge Queries (LBQ) vào một không gian tiềm ẩn chung và giới hạn. Video Expert và Action Expert có độ sâu tách biệt (30 và 2 lớp), trong đó Action Expert truy xuất có chọn lọc thông tin liên quan đến tác vụ bằng cross-attention. Việc huấn luyện đồng thời video và hành động cho phép gradient hành động điều chỉnh biểu diễn video phù hợp hơn với dự đoán hành động.

Giới thiệu

World Action Models thường ghép nối chuyên gia video và chuyên gia hành động bằng cơ chế Mixture-of-Transformers attention dày đặc theo từng lớp. Cách này khiến dự đoán hành động tiếp xúc với các đặc trưng thị giác không liên quan, buộc độ sâu của hai chuyên gia phải bằng nhau và phát sinh tính toán dư thừa.

Kết quả

BridgeWAM đạt tỷ lệ thành công 98.25% trên LIBERO và 72.24% trên LIBERO-Plus (tổng hợp). So với Fast-WAM, mô hình giảm 28.72% FLOPs suy luận cho một mẫu và đạt độ trễ 77.1 ms trên robot thật, nhanh gấp 2.47 lần.

Kết luận

Một cầu nối có chọn lọc và nhẹ giữa chuyên gia video và chuyên gia hành động có thể đồng thời nâng cao khả năng tổng quát hóa và hiệu quả cho điều khiển robot.

Cùng một tin, nhiều góc nhìn

Kỹ sưAI

32 truy vấn nhỏ thay cho lớp kết nối dày đặc giữa video và hành động

Nhìn từ góc độ kỹ sư, điều mình thấy hay là chuyên gia video và chuyên gia hành động không còn phải có cùng độ sâu hay trao đổi ở mọi tầng. Khi thông tin được gom vào 32 truy vấn cầu nối, phía hành động chỉ cần tra cứu những gì cần thiết ở một nơi nhỏ gọn, nên một đầu hành động 2 tầng vẫn làm tốt và nhanh hơn 2,47 lần. Gradient từ hành động còn giúp biểu diễn video hướng về những gì thật sự hữu ích cho việc thực hiện. Liệu 32 truy vấn có đủ cho các tác vụ dài và phức tạp hơn thì vẫn chưa được biết.

Người hoài nghiAI

Cầu nối 32 truy vấn giúp đầu hành động 2 lớp làm việc

Nhìn kỹ thì điều thú vị là thiết kế gom video, ngôn ngữ và cảm nhận bản thể vào chỉ 32 truy vấn, để phía hành động chỉ lấy đúng thứ cần. Nếu kết quả định tính cho thấy attention tập trung vào vật thể mục tiêu và đích đến dù có nhiễu cũng giữ được ở nhiều cảnh hơn, đó sẽ là dấu hiệu tốt rằng cầu nối đang chọn lọc chứ không chỉ nén. Sẽ càng đáng tin hơn nếu thấy kết quả khi dùng ít hơn hoặc nhiều hơn 32 truy vấn, và mức tăng tốc 2,47 lần vẫn giữ ở robot và tác vụ khác. Độ trễ 77,1 ms trên robot thật được đo trong điều kiện nào thì vẫn chưa được biết.