arXiv 2611.07392
WeLM-Image: Mô hình tạo ảnh thống nhất hướng tới trí tuệ thị giác
WeLM-Image: A Unified Image Generation Model towards Visual Intelligence
AI37 lượt đề xuất
Tác giả: Canmiao Fu, Chen Li, Guohui Zhang, Hao Lu, Hongyang Wei, Huadong Wu, Huaisong Zhang, Hubery Yin +8
Tổng quan
Các tác giả giới thiệu WeLM-Image, một mô hình nền tảng hình ảnh thống nhất xử lý tạo ảnh từ văn bản, chỉnh sửa theo chỉ dẫn và tổng hợp từ nhiều ảnh tham chiếu trong một chuỗi xen kẽ. Mô hình dùng kiến trúc Mixture-of-Transformers kết hợp các module Mixture-of-Experts (31,7B tham số lưu trữ, khoảng 5,4B được kích hoạt cho mỗi token latent đích), được thiết kế để chạy trên một GPU trong WeChat, và có biến thể Turbo chưng cất MeanFlow chỉ cần vài bước.
Giới thiệu
Tạo ảnh, chỉnh sửa và tổng hợp từ nhiều tham chiếu thường do các hệ thống riêng biệt đảm nhiệm, còn các mô hình lớn tốn kém khi triển khai ở quy mô người tiêu dùng. WeLM-Image nhắm tới một mô hình thống nhất vẫn thực tế khi chạy trên một GPU.
Kết quả
Mô hình độ phân giải 1536 xếp hạng nhất trong số các mô hình mã nguồn mở được đánh giá trên PRISM-Bench, Qwen-Image-Bench và UnicBench. Biến thể WeLM-Image-Turbo được chưng cất bằng MeanFlow tạo ảnh 1024×1024 trong 4,98 giây trên một GPU NVIDIA H20 với tám bước không dùng guidance.
Kết luận
Kết quả cho thấy một mô hình thống nhất cho tạo ảnh và chỉnh sửa có thể đạt thứ hạng cao trên benchmark mã nguồn mở đồng thời đủ nhanh để triển khai trên một GPU cho người dùng cuối.