arXiv 2610.23542
Thực thi trước, ghi nhớ sau: Chẩn đoán lỗi ghi nhớ trong mô hình thế giới video
Execution Before Memory: Diagnosing Memory Failures in Video World Models
AI19 lượt đề xuất
Tác giả: Weiyang Jin, Jiwen Yu, Sihan Xu, Yuwei Niu, Xihui Liu
Tổng quan
Các tác giả giới thiệu MIST, một bài kiểm tra trí nhớ tách riêng việc cảnh có được thiết lập hay không, thay đổi được yêu cầu có được thực hiện hay không, và khung hình cuối có thể hiện kết quả hay không. Sau đó, họ đề xuất M3-Agent, phương pháp sửa đệ quy các chi tiết của chỉ dẫn để mô hình đông lạnh thực hiện đúng thay đổi được yêu cầu.
Giới thiệu
Các bài kiểm tra trí nhớ hiện nay của mô hình thế giới video gộp nhiều bước thành một điểm số, nên kết quả thấp dễ bị hiểu nhầm là quên, dù thay đổi trạng thái cần thiết chưa từng xảy ra.
Kết quả
So với baseline, M3-Agent tăng điểm reveal của MIST hơn ba lần, cho thấy nút thắt chính là việc không thực hiện được thay đổi theo chỉ dẫn. Phương pháp cũng nâng điểm T của WRBench thêm 26,1% và điểm U của MBench-T thêm 52,7%.
Kết luận
Các baseline hiện tại đánh giá thấp năng lực của mô hình đông lạnh, vì vậy đánh giá trí nhớ nên kiểm tra trước việc thay đổi có được thực thi hay không.