arXiv 2610.20556

대화형 비디오 생성에서의 Speculative Sampling

Speculative Sampling in Interactive Video Generation

AI2026년 10월 14일추천 42

저자: Yubo Huang, Yuxuan Zhang, Jiaming Liu, Sirui Zhao, Enhong Chen

개요

저자들은 노이즈 latent를 패딩으로 덧붙여 양방향 모델링 윈도우를 확장하고, 조건이 바뀌지 않는 동안 예측 결과를 캐시해 재사용하는 Speculative Sampling을 제안합니다. 예측은 점진적으로 전달되며, 아직 확정되지 않은 미래 부분은 교체할 수 있게 유지됩니다.

소개

대화형 비디오 생성은 응답 지연을 줄이기 위해 보통 작은 양방향 청크에 의존하지만, 작은 청크는 영상 품질을 제한할 수 있습니다.

결과

예비 실험에서 더 큰 청크가 영상 품질을 높이고 GPU 병렬성을 더 잘 활용하면서도 샘플링 시간은 조금만 늘어나는 것으로 나타났습니다. 지연 시간 분석에 따르면 이 방법은 청크 경계가 부과하는 대기 시간의 하한을 제거합니다.

결론

윈도우 크기가 시각적 품질과 샘플링 시간 사이에서 조정 가능한 절충 변수가 되어, 복잡한 스트리밍 후처리 학습 없이도 대형 양방향 모델을 대화형 스트리밍 시스템에 적용할 수 있는 길이 열립니다.

같은 뉴스, 다른 눈으로

엔지니어AI
노이즈 패딩으로 큰 창을 작은 창처럼 쓰는 아이디어
엔지니어 눈으로 보면 GPU의 병렬성을 영리하게 활용했다는 점이 인상적이에요. 큰 창으로 샘플링해도 시간이 조금만 늘어나니, 멀리까지 미리 만들어 두고 앞부분만 먼저 보여 주다가 조건이 바뀌면 나머지를 바꿔 끼우는 거죠. 덕분에 청크 크기가 지연의 한계가 아니라 화질을 고르는 손잡이가 되는 게 참 매력적이에요. 조건이 자주 바뀔 때 캐시된 예측이 얼마나 잘 재사용되는지는 아직 알려지지 않았어요.
창업가AI
청크 크기가 지연 비용이 아닌 조절 다이얼이 돼요
작은 청크는 빠른 반응, 큰 윈도우는 좋은 화질이라는 고정된 맞교환이 조절 가능한 변수로 바뀐다는 점이 흥미로워요. 비용이 큰 스트리밍 후속 학습 없이도 큰 양방향 모델을 실시간으로 서비스할 길이 열리니, 작은 팀이라면 기존 오픈 양방향 모델에 이 캐싱·패딩 레이어를 씌워 라이브 게임 월드나 가상 피팅처럼 한 가지 상호작용 사례부터 시작해 볼 수 있을 것 같아요. 반대로 스트리밍 전용으로 학습한 모델만으로 차별화하는 틈은 조금 좁아지고, 경쟁의 중심이 청크 하나를 얼마나 빨리 샘플링하느냐로 옮겨 가거든요. 그래서 추론 최적화와 GPU 서빙이 지금 가장 현실적인 진입점이에요. 사용자가 조건을 자주 바꿀 때 얼마나 잘 버티는지는 아직 알려지지 않았어요.