arXiv 2610.22602
Stuck on Shuffle：視覚言語モデルにおける属性-対象の結合について
Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models
AI推薦14
著者: Netanel Y. Tamir, Michael Green, Issar Tzachor, Or Shimshi, Dvir Samuel, Or Patashnik, Rami Ben-Ari
概要
著者らは、画像とテキストの4つのモダリティの組み合わせすべてにわたって属性-対象の結合を評価する、統制されたベンチマークSABERを提案します。シーンには最大10個の対象が含まれます。その後、生成コストが低く、精密に制御された難しい負例を作れる合成の属性結合テキストのみを用いて、MLLMベースの埋め込みモデルを微調整します。
はじめに
マルチモーダル検索では、どの概念が存在するかだけでなく、それらがどのように構成されているかを捉える埋め込みが必要であり、属性-対象の結合（どの属性がどの対象に属するか）はその重要な要素です。既存のベンチマークは、モダリティの組み合わせが少なく、シーンも単純すぎるため、モデルのこの能力の頑健性を示せていません。
結果
合成の結合テキストだけでMLLMベースの埋め込みモデルを微調整することで、SABERでSOTAを達成し、その効果は一般的なマルチモーダル性能を損なうことなく、クロスモーダル検索や画像-画像検索にも転移します。CLIP系のデュアルエンコーダと最近のMLLMベースの埋め込みモデルはいずれも、この学習前には大きな結合の失敗を示しており、否定や事例検索のベンチマークでも改善が見られました。
結論
安価で精密に制御されたテキストによる教師あり学習は、高コストな画像収集を必要とせずに、マルチモーダル埋め込みモデルの属性結合の問題を解決する実用的な方法を提供します。