arXiv 2610.22602
Stuck on Shuffle: Về liên kết thuộc tính-đối tượng trong các mô hình ngôn ngữ-thị giác
Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models
AI14 lượt đề xuất
Tác giả: Netanel Y. Tamir, Michael Green, Issar Tzachor, Or Shimshi, Dvir Samuel, Or Patashnik, Rami Ben-Ari
Tổng quan
Các tác giả giới thiệu SABER, một bộ benchmark có kiểm soát để đánh giá liên kết thuộc tính-đối tượng trên cả bốn cặp modality ảnh và văn bản, với các cảnh có tối đa mười đối tượng. Sau đó, họ tinh chỉnh một bộ embedder dựa trên MLLM chỉ bằng văn bản huấn luyện liên kết thuộc tính tổng hợp, loại dữ liệu rẻ để tạo và cho phép kiểm soát chính xác các mẫu âm khó.
Giới thiệu
Truy xuất đa phương thức cần các embedding không chỉ nắm bắt những khái niệm nào xuất hiện mà còn cách chúng được kết hợp, và liên kết thuộc tính-đối tượng (thuộc tính nào thuộc về đối tượng nào) là một phần quan trọng của điều đó. Các benchmark hiện có bao phủ quá ít cặp modality và cảnh quá đơn giản nên không cho thấy rõ mức độ vững chắc của mô hình ở năng lực này.
Kết quả
Chỉ tinh chỉnh một bộ embedder dựa trên MLLM bằng văn bản liên kết tổng hợp đã đạt SOTA trên SABER, và các cải thiện này chuyển sang truy xuất xuyên modality và ảnh-ảnh mà không làm mất hiệu năng đa phương thức tổng quát. Cả bộ mã hóa đôi kiểu CLIP lẫn các embedder dựa trên MLLM gần đây đều thể hiện lỗi liên kết đáng kể trước khi được huấn luyện như vậy, và các benchmark về phủ định và truy xuất thể hiện cũng được cải thiện.
Kết luận
Giám sát bằng văn bản rẻ và được kiểm soát chính xác là một cách thực tiễn để khắc phục vấn đề liên kết thuộc tính trong các embedder đa phương thức mà không cần thu thập ảnh tốn kém.