arXiv 2610.21459
視覚生成は統合マルチモーダルモデルの知識を広げられるか？
Can Visual Generation Expand What Unified Multimodal Models Know?
AI推薦13
著者: Wenkai Li, Wenyi Hong, Zhuoyi Yang, Jie Tang
概要
著者らは、画像生成の学習を通じてモデルに新しい知識を与え、その知識がテキストのみの質問応答で引き出せるかを検証する統制されたプロトコル Knowledge Transfer Probing（KTP）を提案します。さらに、生成と回答を結びつけるために Textual Alignment と Interleaved Image–Text Alignment を導入します。
はじめに
統合マルチモーダルモデル（UMM）は、テキストに十分記述されていない視覚情報を含む画像生成の教師信号を受け取ります。画像を生成する学習によって、事前学習済みモデルの知識が実際に広がるのかは未解決の問いです。
結果
視覚的な教師信号は言語での質問応答へ直接転移しますが、その転移の度合いは知識の種類によって偏りがあります。また、一部のエンティティに対する指導は、QAの教師信号がなくても他のエンティティへの知識アクセスを改善し、インターリーブ整列でさらに向上します。
結論
視覚生成はテキストを超える知識の源泉であるため、その知識を広くアクセス可能にするには、学習データの設計とモデルアーキテクチャを合わせて検討する必要があります。