arXiv 2610.23542
実行が先、記憶は後：ビデオワールドモデルの記憶失敗の診断
Execution Before Memory: Diagnosing Memory Failures in Video World Models
AI推薦19
著者: Weiyang Jin, Jiwen Yu, Sihan Xu, Yuwei Niu, Xihui Liu
概要
著者らは、シーンが設定されたか、要求された変化が実行されたか、最終フレームに結果が表れているかを切り分けて評価するメモリテストMISTを提案します。続いて、指示の詳細を再帰的に修正し、凍結されたモデルが要求された変化を実行できるようにするM3-Agentを提案します。
はじめに
既存のビデオワールドモデルのメモリテストは複数の段階を一つのスコアにまとめるため、必要な状態変化が起きなかった場合でも、低い結果を記憶の忘却と誤解しやすくなっています。
結果
ベースラインと比べて、M3-AgentはMIST reveal スコアを3倍以上に高め、主要なボトルネックが指示された変化を実行できないことにあることを示しました。また、WRBenchのTスコアは26.1%、MBench-TのUスコアは52.7%向上しました。
結論
現在のベースラインは凍結モデルの能力を過小評価しているため、記憶の評価ではまず変化が実行されたかを確認すべきです。