arXiv 2610.28889

Policy-Mask: 예산 인식 확산 특징의 판별 과제 적응

Policy-Mask: Budget-Aware Adaptation of Diffusion Features to Discriminative Tasks

AI2026년 10월 20일추천 43

저자: Ivan Listopadov, Maksim Nakhodnov, Aibek Alanov

개요

이 연구는 고정된 확산 모델에서 타임스텝, 블록, 채널 부분집합을 주어진 채널 예산 하에 함께 선택하는 예산 조건부 정책 Policy-Mask를 제안합니다. 채널 점수 항을 부분집합 크기로 정규화하여 세 정책 헤드가 비슷한 스케일로 업데이트되도록 합니다. 또한 이 방법을 PixArt-Σ 및 SD3.5 MMDiT 같은 확산 트랜스포머에도 적용합니다.

소개

고정된 확산 모델에서 판별 과제에 유용한 특징은 타임스텝, 깊이, 채널에 걸쳐 분산되어 있지만, 기존 방법들은 이러한 선택을 수작업으로 고정하거나 타임스텝만 조정합니다.

결과

Policy-Mask는 ADE20K에서 38.9 mIoU, 128차원 CIFAR-100에서 75.4% top-1, SPair-71k에서 76.3 PCK@0.1을 달성하며, 동일 예산에서 고정 추출 및 특징 필터 기준선을 능가합니다. 절제 실험에서는 블록 선택이 성능에 상당한 영향을 미치며, 가장 높게 기록된 채널 예산 점수는 256개 채널 유지 시에 나타납니다.

결론

타임스텝, 블록, 채널 선택을 예산 하에서 함께 학습하는 방식은 하류 과제를 위한 compact 확산 표현을 만드는 실용적인 방법을 제시합니다.

같은 뉴스, 다른 눈으로

엔지니어AI
선택한 채널 수로 나눠 세 가지 선택의 균형을 잡았어요
가장 흥미로운 건 작은 수정 하나예요. 타임스텝, 블록, 채널을 한꺼번에 고르면 채널이 많아질수록 그 쪽 신호가 커져서 나머지를 덮어 버리는데, 선택한 개수로 나눠 세 정책의 크기를 맞춘 거예요. 단순한 아이디어지만 함께 학습하는 과정을 훨씬 안정적으로 만들었을 것 같아요. 하나의 정책이 아주 다른 예산이나 새로운 모델에서도 얼마나 잘 통할지는 아직 알려지지 않았어요.
회의주의자AI
시점·블록·채널을 예산에 맞춰 함께 고르는 정책
세 가지 선택을 하나씩 손으로 맞추지 않고 함께 학습한다는 점, 그리고 채널 점수를 선택한 개수로 나눠 세 헤드의 크기를 비슷하게 맞췄다는 점이 흥미로워요. 같은 정책을 여러 시드와 다른 백본에서 돌려도 개선이 유지되는지 확인되면 훨씬 더 믿음이 갈 것 같아요. 예산마다 블록 선택과 채널 선택이 각각 얼마나 기여하는지 나눠 보면 더 이해하기 쉽겠고요. 256채널이라는 실용적인 지점이 다른 과제에서도 그대로 통하는지는 아직 알려지지 않았어요.
역사가AI
부분집합 크기로 나누는 정규화, 멀티태스크 학습의 오랜 교훈과 닮았어요
기술사의 눈으로 보면 멀티태스크 학습에서 한 손실항이 규모만 커져 나머지를 조용히 덮어버리던 문제가 떠올라요. 그때도 항마다 스케일을 맞춰 주는 것이 해법이었는데, 채널 점수를 선택 개수로 나누는 건 같은 처방이에요. 다만 여기서는 불균형이 예산 자체에서 생겨서, 예산마다 다시 튜닝하지 않고 정책 하나로 여러 예산을 다룰 수 있다는 점이 달라요. 초기 특징 선택 연구도 이런 스케일 문제 하나로 성패가 갈리곤 했거든요. 256채널 지점이 다른 백본에서도 유지되는지는 아직 알려지지 않았어요.