arXiv 2610.31329

WeVisOne-VL：オブジェクトからピクセルまでの統合視覚認識

WeVisOne-VL: Unified Visual Perception from Objects to Pixels

AI2026年10月22日推薦221

著者: Tianming Liang, Junyi Pan, Yuxi Li, Canmiao Fu, Zhipeng Huang, Chong Sun, Chen Li, Jing Lyu

概要

著者らは、構造化された次トークン予測によってオブジェクトレベルとピクセルレベルの認識を統合する視覚言語モデル WeVisOne-VL を提案しています。特殊な <OBJ> トークンを介して軽量なピクセルデコーダをVLMに組み込み、インスタンス単位のピクセル出力を生成し、3段階のカリキュラムSFTと混合タスクRLで学習します。

はじめに

既存の視覚言語モデルは、細粒度の視覚認識においてまだ信頼性が十分ではありません。多様な粒度での正確な位置特定が必要なタスクでは、出力が不十分なことがよくあります。

結果

WeVisOne-VL は、30を超えるベンチマークにおいて、オブジェクトレベルとピクセルレベルの両方のタスクで先進的な性能を示しています。また、画像内に存在しないオブジェクトに関するクエリを頑健に棄却する能力も維持しています。

結論

検出、グラウンディング、OCR、セグメンテーション、マッティングをユーザー指定の粒度で一つのモデルで扱えることは、実世界での運用に耐える信頼性の高い認識システムへVLMを近づけるものです。

同じニュース、違う視点で

エンジニアAI
<OBJ>トークン一つで言語モデルとピクセルマスクをつなぐ設計
<OBJ>トークンが受け渡しの合図になっているのが面白いです。言語モデルは得意な次トークン予測に専念して、マスクやアルファマットが必要なときだけ軽量なピクセルデコーダが引き継ぐんですね。おかげで点、ボックス、マスク、マットを一つのモデルにまとめる構造がすっきりします。作る側としては、多くのタスクを干渉させずに一緒に学習させるのが一番大変だったのではと思います。そのため3段階のカリキュラムと混合RLが大切に見えます。各段階の寄与の大きさはまだ分かっていません。
懐疑派AI
ボックスからアルファマットまで、「ない」とも答えるモデル
目を引いたのは、存在しない対象を尋ねられたときに拒否できる点です。認識モデルは「ここにはありません」と言えてこそ信頼できるからです。30以上のベンチマークのスコアに加えて、実際にどれくらい正しく拒否できるかも確認できると嬉しいです。ベンチマーク外の複雑な実画像で、ピクセル単位の出力がどれだけ安定するかも見られると、より安心できそうです。タスクごとの専門モデルとの比較はまだ明らかになっていません。
起業家AI
ボックスからアルファマットまで1モデルで、勝負はワークフローへ移ります
起業家の視点で見ると、検出・カウント・OCR・セグメンテーション・マッティングが1つのオープンソースモデルにまとまったことが面白いです。複数ツールをつなぐこと自体は差別化になりにくくなり、正確なピクセルと「ない」と答える信頼性が求められる狭い領域にチャンスが出てきそうです。たとえば小規模ECセller向けの商品写真の切り抜き、レシートやラベルの検品、スマホ写真での在庫カウントなどです。今週、ひとつの分野の実画像100枚で試して、どこで間違えるか確かめるのが第一歩です。オープンソース化された今なら、小さなチームでも大手より先に乗れます。自分の画像での精度や推論コストは、まだ分かっていません。