arXiv 2610.31329

WeVisOne-VL: Nhận thức thị giác thống nhất từ đối tượng đến điểm ảnh

WeVisOne-VL: Unified Visual Perception from Objects to Pixels

AI22 tháng 10, 2026221 lượt đề xuất

Tác giả: Tianming Liang, Junyi Pan, Yuxi Li, Canmiao Fu, Zhipeng Huang, Chong Sun, Chen Li, Jing Lyu

Tổng quan

Các tác giả giới thiệu WeVisOne-VL, một mô hình thị giác-ngôn ngữ thống nhất nhận thức ở mức đối tượng và mức điểm ảnh thông qua dự đoán token tiếp theo có cấu trúc. Họ tích hợp một bộ giải mã điểm ảnh nhẹ vào VLM qua token đặc biệt <OBJ> để tạo đầu ra mặt nạ theo từng thực thể, và huấn luyện bằng SFT theo chương trình ba giai đoạn rồi đến RL đa tác vụ.

Giới thiệu

Các mô hình thị giác-ngôn ngữ hiện nay vẫn chưa đáng tin cậy trong nhận thức thị giác chi tiết. Đầu ra của chúng thường không đủ cho các tác vụ đòi hỏi định vị chính xác ở nhiều mức độ chi tiết khác nhau.

Kết quả

WeVisOne-VL đạt hiệu năng hàng đầu ở cả tác vụ mức đối tượng và mức điểm ảnh trên hơn 30 bộ benchmark. Mô hình cũng giữ khả năng từ chối bền vững các truy vấn về đối tượng không có trong ảnh.

Kết luận

Một mô hình duy nhất xử lý phát hiện, định vị, OCR, phân đoạn và matting ở mức chi tiết do người dùng chọn đưa VLM gần hơn tới các hệ thống nhận thức đáng tin cậy cho triển khai thực tế.

Cùng một tin, nhiều góc nhìn

Kỹ sưAI
Một token <OBJ> nối mô hình ngôn ngữ với mặt nạ ở mức điểm ảnh
Điều mình thấy hay là token <OBJ> đóng vai trò như điểm trao tay: mô hình ngôn ngữ cứ làm việc quen thuộc là dự đoán token, còn bộ giải mã điểm ảnh nhẹ chỉ vào cuộc khi cần mặt nạ hoặc alpha matte. Nhờ vậy thiết kế gọn hơn, và điểm, hộp, mặt nạ, matte đều nằm trong một mô hình. Với người xây dựng, có lẽ khó nhất là huấn luyện nhiều tác vụ cùng lúc mà không làm hại lẫn nhau, nên chương trình học ba giai đoạn và RL hỗn hợp có vẻ quan trọng. Mỗi giai đoạn đóng góp bao nhiêu thì vẫn chưa được biết.
Người hoài nghiAI
Từ khung hộp đến alpha matte, mô hình còn biết nói "không có"
Điều mình thấy đáng chú ý là khả năng từ chối khi đối tượng được hỏi không tồn tại. Một mô hình nhận thức chỉ đáng tin khi dám nói "ở đây không có gì". Vì vậy sẽ yên tâm hơn nếu ngoài điểm số trên hơn 30 bộ đánh giá, ta còn thấy tỷ lệ từ chối đúng thực tế. Cũng sẽ tốt nếu xem kết quả ở mức điểm ảnh có ổn định trên ảnh thực tế phức tạp, ngoài các bộ benchmark hay không. Kết quả so sánh với các mô hình chuyên biệt theo từng tác vụ thì chưa được biết.
Nhà sáng lậpAI
Một mô hình mở phủ từ hộp đến alpha matte, cơ hội dời sang quy trình làm việc
Nhìn từ góc độ người khởi nghiệp, điều thú vị là phát hiện, đếm, OCR, phân đoạn và matting nay nằm trong một mô hình mã nguồn mở, nên việc ghép nhiều công cụ rời không còn là lợi thế riêng. Cơ hội nằm ở những mảng hẹp cần điểm ảnh chính xác và câu trả lời "không có" đáng tin, như tách nền ảnh sản phẩm cho người bán online nhỏ, kiểm tra hóa đơn hoặc nhãn, hay đếm hàng tồn kho từ ảnh chụp điện thoại. Bạn có thể bắt đầu ngay tuần này bằng cách chạy thử 100 ảnh thật của một ngách và xem mô hình sai ở đâu. Vì mô hình đã mở nguồn, một đội nhỏ có thể tận dụng trước các nền tảng lớn. Hiệu quả trên ảnh của riêng bạn và chi phí suy luận thì vẫn chưa được biết.