arXiv 2610.23279
Xiaomi-Lens-0 기술 보고서
Xiaomi-Lens-0 Technical Report
AI추천 12
저자: Pei Fu, Yike Liu, Yue Sun, Hanmo Wang, Xiuwen Xi, Ruoceng Zhang, Shaojie Zhang, Chao Jiang +7
개요
저자들은 Qwen3.5를 기반으로 한 40억 파라미터 다중모달 LLM인 Xiaomi-Lens-0을 소개하며, 이 모델은 자체 시각 표현에서 직접 분할 마스크를 예측합니다. 경량 디코더가 비전 인코더의 패치 특징과 언어 모델의 마스크 토큰 상태를 결합하므로, 별도의 분할 인코더 없이도 마스크 지도 신호가 공유 백본에 전달됩니다. 각 시각 잠재 벡터가 마스크로 디코딩되기 때문에 모델은 영역별 잠재 벡터를 추론 과정에 끼워 넣고, 사고 연쇄 중 방문하는 영역을 지도할 수 있습니다.
소개
다중모달 LLM은 이미지 전체에 대한 질문에는 잘 답하지만, 세밀한 영역 이해에는 어려움을 겪습니다. 텍스트만을 이용한 지도 학습은 어떤 영역이 답을 뒷받침하는지 명시하지 않으며, 이것이 이러한 격차의 핵심 원인입니다.
결과
Xiaomi-Lens-0은 RefCOCO, RefCOCO+, RefCOCOg의 8개 분할 전체에서 지시 표현 이해 성능이 Qwen3.5보다 평균 5.6점 높습니다. 또한 비교 모델 중 가장 높은 분할 cIoU를 달성했으며, 모든 지각 벤치마크에서 Qwen3.5를 능가했습니다.
결론
예측된 마스크에 기반한 추론은 MLLM의 세밀한 영역 이해를 향상시키는 실용적인 방법을 제시합니다.