arXiv 2610.23542
실행이 먼저다: 비디오 월드 모델의 메모리 실패 진단
Execution Before Memory: Diagnosing Memory Failures in Video World Models
AI추천 19
저자: Weiyang Jin, Jiwen Yu, Sihan Xu, Yuwei Niu, Xihui Liu
개요
저자들은 장면 설정, 요청된 변화의 수행, 마지막 프레임에 결과가 나타나는지를 분리해 평가하는 메모리 테스트 MIST를 소개합니다. 이어서 지시문의 세부 사항을 재귀적으로 수정해 고정된(frozen) 모델이 요청된 변화를 수행하도록 하는 M3-Agent를 제안합니다.
소개
기존 비디오 월드 모델의 메모리 테스트는 여러 단계를 하나의 점수로 합치기 때문에, 필요한 상태 변화가 일어나지 않았는데도 낮은 결과를 망각으로 오해하기 쉽습니다.
결과
기준 모델 대비 M3-Agent는 MIST reveal 점수를 3배 이상으로 높여, 주된 병목이 지시된 변화를 수행하지 못하는 데 있음을 보여줍니다. 또한 WRBench의 T 점수는 26.1%, MBench-T의 U 점수는 52.7% 상승했습니다.
결론
현재의 기준선이 고정된 모델의 능력을 과소평가하고 있으므로, 메모리 평가는 먼저 변화가 실제로 수행되었는지 확인해야 합니다.