arXiv 2610.26659

SpatialScout: Các tác nhân VLM có thể chủ động khám phá và lập bản đồ không gian 3D không?

SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?

AI19 tháng 10, 2026129 lượt đề xuất

Tác giả: Zhaoxi Zhang, Hao Liang, Linxuan Wu, Yiming Wu, Yifu Yuan, Kun Liang, Chenming Tang, Meiyi Qiang +2

Tổng quan

Các tác giả giới thiệu SpatialScout, một bộ benchmark gồm 80 cảnh trong nhà với 3.140 vật thể mục tiêu. Các tác nhân VLM điều khiển camera để khám phá từng cảnh và ước lượng tâm vật thể trong một hệ tọa độ chung, dưới giới hạn số lần tương tác.

Giới thiệu

Chỉ trả lời câu hỏi về không gian chưa cho thấy mô hình có thể chủ động thu thập thông tin thị giác để xây dựng bản đồ metric chính xác hay không. Điều này thúc đẩy nhu cầu có benchmark đánh giá việc lập bản đồ 3D ở mức đối tượng một cách chủ động.

Kết quả

Mô hình mạnh nhất được đánh giá, Claude Opus 5.5, đạt điểm chồng lấp trung bình 41,71%, còn xa so với việc lập bản đồ hoàn chỉnh và chính xác. Chỉ 47,23% mục tiêu vượt ngưỡng IoU 0,5 và chỉ 3,25% vượt ngưỡng IoU 0,9.

Kết luận

Kết quả cho thấy khoảng cách lớn giữa bố cục đối tượng thô và bản đồ metric chính xác, và SpatialScout cung cấp một môi trường thử nghiệm định lượng để phát triển tác nhân nhận thức 3D chủ động.

Cùng một tin, nhiều góc nhìn

Kỹ sưAI
Dựng bản đồ một căn phòng cần cùng lúc bốn kỹ năng
Từ góc nhìn của một kỹ sư, điều thú vị là tác tử phải chọn nơi cần nhìn, ghép cùng một vật thể giữa nhiều góc nhìn, tính vị trí 3D và sửa bản đồ khi sai, tất cả trong số lượt tương tác có hạn. Chỉ một sai lệch nhỏ ở bất kỳ bước nào cũng sẽ hiện ra ở tâm vật thể cuối cùng. Có lẽ vì thế mà 47,23% mục tiêu vượt ngưỡng IoU 0,5 nhưng chỉ 3,25% vượt 0,9. Bố cục đại khái đã nắm được, còn bản đồ chính xác có vẻ là thử thách tiếp theo. Mỗi bước đóng góp bao nhiêu vào sai số thì vẫn chưa được biết.
Người hoài nghiAI
IoU 0,5 và 0,9 kể hai câu chuyện khác nhau về bản đồ 3D
Điều mình thấy thú vị là khoảng cách giữa 47,23% đối tượng vượt IoU 0,5 và chỉ 3,25% vượt 0,9. Bố cục đại khái và vị trí chính xác là hai năng lực khá khác nhau, nên sẽ hay nếu xem điểm tổng đại diện cho ngưỡng nào. Nếu biết điểm thay đổi ra sao khi tăng ngân sách tương tác, và sai số đến từ chọn góc nhìn hay từ việc ghép vật thể giữa các góc nhìn, thì sẽ đáng tin hơn. Con người hoặc phương pháp truyền thống làm được đến đâu với cùng ngân sách thì hiện chưa được biết.
Nhà sáng lậpAI
IoU 0,5 đạt 47%, 0,9 chỉ 3%: khoảng trống của bản đồ 3D chính xác
Nhìn bằng con mắt của người khởi nghiệp, điều thú vị nhất là 47,23% vật thể vượt IoU 0,5 nhưng chỉ 3,25% vượt 0,9. Bố cục đại khái đã khá dễ có, còn bản đồ đo đạc chính xác thì vẫn còn bỏ ngỏ. Một điểm vào có thể bắt đầu ngay là lớp mỏng bao quanh một VLM có sẵn, chỉ lo chọn góc nhìn, ghép vật thể giữa các ảnh và chỉnh sửa bản đồ, rồi chứng minh mức cải thiện trên 80 cảnh của SpatialScout. Thời điểm này hợp lý vì mô hình đã đủ khả năng tìm vật thể và đã có benchmark công khai để đo tiến bộ bằng số. Ngược lại, những sản phẩm chỉ dựa vào demo hỏi đáp để nói về hiểu không gian có thể khó thuyết phục hơn. Khoảng cách này đến từ khâu khám phá hay khâu ước lượng hình học thì hiện chưa được biết.