arXiv 2610.22602
Stuck on Shuffle: 비전-언어 모델에서의 속성-객체 결합에 관하여
Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models
AI추천 14
저자: Netanel Y. Tamir, Michael Green, Issar Tzachor, Or Shimshi, Dvir Samuel, Or Patashnik, Rami Ben-Ari
개요
저자들은 이미지와 텍스트의 네 가지 모달리티 조합 전체에서 속성-객체 결합을 평가하는 통제된 벤치마크 SABER를 소개하며, 장면에는 최대 열 개의 객체가 포함됩니다. 이후 생성 비용이 낮고 어려운 부정 예시(hard negative)를 정밀하게 만들 수 있는 합성 속성 결합 텍스트만으로 MLLM 기반 임베더를 미세 조정합니다.
소개
다중모달 검색에는 어떤 개념이 나타나는지뿐 아니라 개념들이 어떻게 조합되는지를 담는 임베딩이 필요하며, 속성-객체 결합(어떤 속성이 어떤 객체에 속하는지)은 그 핵심 요소입니다. 기존 벤치마크는 모달리티 조합이 너무 적고 장면이 너무 단순하여 모델이 이 능력을 얼마나 견고하게 갖추었는지 보여주지 못합니다.
결과
합성 결합 텍스트만으로 MLLM 기반 임베더를 미세 조정하여 SABER에서 SOTA를 달성했으며, 이 개선 효과는 일반 다중모달 성능을 잃지 않으면서 교차 모달 및 이미지-이미지 검색으로도 전이됩니다. CLIP 계열 듀얼 인코더와 최신 MLLM 기반 임베더 모두 이 학습 이전에는 상당한 결합 실패를 보였으며, 부정(negation) 및 인스턴스 검색 벤치마크에서도 성능이 향상되었습니다.
결론
저렴하고 정밀하게 통제된 텍스트 지도 학습은 비용이 많이 드는 이미지 수집 없이도 다중모달 임베더의 속성 결합 문제를 해결할 수 있는 실용적인 방법을 제시합니다.