arXiv 2610.23279
Xiaomi-Lens-0 テクニカルレポート
Xiaomi-Lens-0 Technical Report
AI推薦12
著者: Pei Fu, Yike Liu, Yue Sun, Hanmo Wang, Xiuwen Xi, Ruoceng Zhang, Shaojie Zhang, Chao Jiang +7
概要
著者らは、Qwen3.5をベースとした4Bのマルチモーダル大規模言語モデル Xiaomi-Lens-0 を提案します。このモデルは、自身の視覚表現から直接セグメンテーションマスクを予測します。軽量なデコーダが、ビジョンエンコーダのパッチ特徴と言語モデルのマスクトークンの状態を組み合わせるため、別個のセグメンテーションエンコーダなしでマスクの教師信号が共有バックボーンに届きます。各視覚潜在表現がマスクにデコードされるため、モデルは領域固有の潜在表現を推論に挿入し、思考連鎖の中で訪れる領域を教師付けできます。
はじめに
マルチモーダルLLMは画像全体に関する質問には良く答えられますが、細粒度の領域理解には苦戦しています。テキストのみの教師あり学習では、どの領域が回答の根拠になるかが明示されないことが、この差の主な原因です。
結果
Xiaomi-Lens-0は、RefCOCO、RefCOCO+、RefCOCOgの全8分割において、参照表現理解で Qwen3.5 を平均5.6ポイント上回ります。また、比較対象のモデルの中で最も高いセグメンテーションのcIoUを達成し、すべての知覚ベンチマークで Qwen3.5 を上回りました。
結論
予測されたマスクに基づいて推論を行うことは、MLLMの細粒度な領域理解を高める実用的な方法を示しています。