arXiv 2610.21783
3D 세계에서 사고하고 탐색하는 법 학습
Learning to Think and Explore in 3D World
AI추천 89
저자: Yijiang Li, Bingyang Wang, Nuno Vasconcelos
개요
저자들은 시각-언어 모델이 한 번에 하나의 1인칭 이미지를 받고, '왼쪽으로 이동'과 같은 행동으로 3D 환경을 탐색하면서 3D 장면을 추론하도록 학습시킵니다. 모델은 먼저 궤적 기반 지도 미세조정을 거친 뒤, 주로 최종 답변의 정확도에 따라 보상을 받는 강화학습으로 훈련되며, 어떤 시점을 방문할지에 대한 직접적인 지도는 없습니다. 그 결과로 얻은 모델 ACT3D는 스스로 탐색 정책을 학습합니다.
소개
시각-언어 모델은 기본적으로 단일 이미지를 처리하지만, 많은 3D 질문은 초기 시점에 보이지 않는 시점의 증거를 필요로 합니다.
결과
ACT3D는 여섯 개의 3D 벤치마크에서 평균 53.2%의 정확도를 달성하여 기반 모델 Qwen을 22.0% 개선하고 상용 모델 Gemini 3.6 Flash를 능가합니다. 기반 모델 대비 향상폭은 초기 시점만으로 답할 수 있는 질문의 0.6%에서 광범위한 탐색이 필요한 질문의 16.3%로 커집니다.
결론
결과 기반 강화학습은 VLM이 시각적 증거를 추론할 뿐만 아니라 언제, 어떻게 그 증거를 얻어야 하는지도 배울 수 있게 해줍니다.