arXiv 2610.21459
Tạo ảnh bằng thị giác có thể mở rộng những gì mô hình đa phương thức thống nhất biết không?
Can Visual Generation Expand What Unified Multimodal Models Know?
AI13 lượt đề xuất
Tác giả: Wenkai Li, Wenyi Hong, Zhuoyi Yang, Jie Tang
Tổng quan
Các tác giả giới thiệu Knowledge Transfer Probing (KTP), một quy trình được kiểm soát nhằm cung cấp kiến thức mới cho mô hình qua huấn luyện tạo ảnh, rồi kiểm tra xem kiến thức đó có thể truy cập qua hỏi đáp chỉ dùng văn bản hay không. Sau đó, họ bổ sung Textual Alignment và Interleaved Image–Text Alignment để kết nối quá trình tạo ảnh với quá trình trả lời.
Giới thiệu
Các mô hình đa phương thức thống nhất (UMM) được huấn luyện giám sát tạo ảnh, qua đó tiếp nhận các chi tiết thị giác thường không có đầy đủ trong văn bản. Câu hỏi còn bỏ ngỏ là liệu việc học tạo ảnh có thực sự mở rộng kiến thức của các mô hình đã huấn luyện trước hay không.
Kết quả
Tín hiệu giám sát thị giác chuyển trực tiếp sang khả năng trả lời câu hỏi bằng ngôn ngữ, nhưng mức độ chuyển đổi không đồng đều giữa các loại kiến thức. Việc hướng dẫn trên một số thực thể cũng cải thiện khả năng truy cập kiến thức về các thực thể khác mà không cần dữ liệu hỏi đáp, và căn chỉnh xen kẽ mang lại thêm mức tăng.
Kết luận
Tạo ảnh bằng thị giác là nguồn kiến thức vượt ra ngoài văn bản, vì vậy thiết kế dữ liệu huấn luyện và kiến trúc mô hình cần được nghiên cứu cùng nhau để kiến thức này được truy cập rộng rãi hơn.