arXiv 2610.21459
시각적 생성은 통합 멀티모달 모델이 아는 것을 확장할 수 있을까?
Can Visual Generation Expand What Unified Multimodal Models Know?
AI추천 13
저자: Wenkai Li, Wenyi Hong, Zhuoyi Yang, Jie Tang
개요
저자들은 이미지 생성 학습을 통해 모델에 새로운 지식을 주입하고, 그 지식을 텍스트 전용 질의응답으로 꺼낼 수 있는지 확인하는 통제된 프로토콜인 Knowledge Transfer Probing(KTP)을 제안합니다. 이어서 생성과 응답을 연결하기 위해 Textual Alignment와 Interleaved Image–Text Alignment를 도입합니다.
소개
통합 멀티모달 모델(UMM)은 텍스트에 충분히 기록되지 않은 시각 정보를 담은 이미지 생성 지도 학습을 받습니다. 이미지를 생성하도록 학습하는 것이 사전 학습된 모델의 지식을 실제로 넓힐 수 있는지는 아직 열린 질문입니다.
결과
시각 지도 학습은 언어 질의응답으로 직접 전이되지만, 지식 유형에 따라 전이 정도가 고르지 않습니다. 또한 일부 개체에 대한 가이드는 QA 지도 없이도 다른 개체에 대한 지식 접근성을 높이며, 인터리브 정렬을 적용하면 추가로 향상됩니다.
결론
시각적 생성은 텍스트를 넘어서는 지식의 원천이므로, 이 지식을 널리 접근 가능하게 만들기 위해 학습 데이터 설계와 모델 구조를 함께 연구해야 합니다.