arXiv 2610.21783
Học cách suy nghĩ và khám phá trong thế giới 3D
Learning to Think and Explore in 3D World
AI89 lượt đề xuất
Tác giả: Yijiang Li, Bingyang Wang, Nuno Vasconcelos
Tổng quan
Các tác giả huấn luyện mô hình thị giác-ngôn ngữ suy luận về cảnh 3D bằng cách cho mô hình nhận từng ảnh góc nhìn thứ nhất một và di chuyển trong môi trường 3D thông qua các hành động như "di chuyển sang trái". Mô hình trước tiên được tinh chỉnh có giám sát trên các quỹ đạo, sau đó được huấn luyện bằng học tăng cường với phần thưởng chủ yếu dựa trên độ chính xác của câu trả lời cuối cùng, không có giám sát trực tiếp về việc nên xem các góc nhìn nào. Mô hình thu được, ACT3D, tự học chính sách khám phá của mình.
Giới thiệu
Các mô hình thị giác-ngôn ngữ vốn xử lý từng ảnh đơn lẻ, nhưng nhiều câu hỏi 3D cần bằng chứng từ các góc nhìn mà ảnh ban đầu không thể hiện.
Kết quả
ACT3D đạt độ chính xác trung bình 53,2% trên sáu benchmark 3D, cải thiện mô hình nền Qwen 22,0% và vượt qua mô hình thương mại Gemini 3.6 Flash. Mức cải thiện so với mô hình nền tăng từ 0,6% với các câu hỏi có thể trả lời từ góc nhìn ban đầu lên 16,3% với các câu hỏi cần khám phá rộng.
Kết luận
Học tăng cường dựa trên kết quả có thể giúp VLM không chỉ suy luận từ bằng chứng thị giác mà còn biết khi nào và làm thế nào để thu thập bằng chứng đó.