arXiv 2610.28889

Policy-Mask: Thích ứng đặc trưng khuếch tán theo ngân sách cho các tác vụ phân biệt

Policy-Mask: Budget-Aware Adaptation of Diffusion Features to Discriminative Tasks

AI20 tháng 10, 202643 lượt đề xuất

Tác giả: Ivan Listopadov, Maksim Nakhodnov, Aibek Alanov

Tổng quan

Nhóm tác giả đề xuất Policy-Mask, một chính sách có điều kiện theo ngân sách, được huấn luyện trên mục tiêu của tác vụ hạ nguồn, để chọn đồng thời timestep, block mạng và tập con kênh từ một mô hình khuếch tán đóng băng dưới một ngân sách kênh cố định. Họ chuẩn hóa thành phần điểm kênh theo số lượng phần tử của tập con để ba đầu chính sách cập nhật ở thang tương đương. Phương pháp cũng được điều chỉnh cho các diffusion transformer như PixArt-Σ và SD3.5 MMDiT.

Giới thiệu

Các đặc trưng hữu ích cho tác vụ phân biệt trong mô hình khuếch tán đóng băng trải rộng qua các timestep, độ sâu mạng và kênh, nhưng các phương pháp hiện có hoặc cố định các lựa chọn này thủ công hoặc chỉ điều chỉnh timestep.

Kết quả

Policy-Mask đạt 38,9 mIoU trên ADE20K, 75,4% top-1 trên CIFAR-100 ở 128 chiều và 76,3 PCK@0.1 trên SPair-71k, vượt các baseline trích xuất cố định và lọc đặc trưng ở cùng ngân sách. Các thí nghiệm loại bỏ cho thấy việc chọn block ảnh hưởng đáng kể đến độ chính xác, và điểm ngân sách kênh cao nhất được ghi nhận xảy ra khi giữ 256 kênh.

Kết luận

Việc học đồng thời lựa chọn timestep, block và kênh dưới ràng buộc ngân sách là cách thực tế để xây dựng biểu diễn khuếch tán gọn nhẹ cho các tác vụ hạ nguồn.

Cùng một tin, nhiều góc nhìn

Kỹ sưAI
Chia cho số kênh đã chọn để ba lựa chọn cân bằng nhau
Điều mình thấy thú vị nhất là một chỉnh sửa nhỏ. Khi chọn cùng lúc bước thời gian, khối và các kênh, phần kênh sẽ lớn dần theo số kênh được chọn và át mất hai phần còn lại, nên việc chia cho số lượng đã chọn giúp ba đầu chính sách có cùng thang đo. Ý tưởng đơn giản nhưng có lẽ giúp việc huấn luyện chung êm hơn nhiều. Một chính sách sẽ hoạt động tốt đến đâu với ngân sách rất khác hoặc mô hình mới thì hiện chưa được biết.
Người hoài nghiAI
Một chính sách chọn đồng thời bước thời gian, khối và kênh theo ngân sách
Điều thú vị là ba lựa chọn được học cùng nhau thay vì chỉnh tay từng cái, và việc chia điểm kênh cho số kênh được chọn giúp ba đầu có thang đo tương đương. Sẽ yên tâm hơn nếu thấy mức cải thiện vẫn giữ được khi chạy cùng chính sách với nhiều seed và các backbone khác nhau. Nếu tách riêng phần đóng góp của việc chọn khối và chọn kênh ở từng mức ngân sách thì sẽ dễ hiểu hơn nữa. Liệu mốc 256 kênh có áp dụng tốt cho các tác vụ khác hay không thì vẫn chưa được biết.
Nhà sử họcAI
Chuẩn hóa theo kích thước tập con gợi nhớ một bài học cũ của học đa nhiệm
Nhìn bằng con mắt của một nhà công nghệ sử, mình nhớ đến học đa nhiệm, nơi một số hạng mất mát lớn dần theo quy mô và âm thầm lấn át các số hạng còn lại. Cách chữa hồi đó là đưa từng số hạng về cùng thang đo, và chia điểm kênh cho số kênh được chọn chính là cách làm ấy. Điểm khác là ở đây sự mất cân bằng đến từ chính ngân sách, nên một chính sách duy nhất có thể phục vụ nhiều ngân sách mà không cần chỉnh lại từng lần. Các nghiên cứu chọn đặc trưng thuở đầu cũng thường thành bại ở những chi tiết thang đo như vậy. Điểm tối ưu 256 kênh có giữ được trên các mạng nền khác hay không thì vẫn chưa được biết.