arXiv 2610.11942
Đúng màn hình, sai chuyển tiếp: Mô hình thế giới làm bộ xác minh cho tác tử GUI
Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents
AI81 lượt đề xuất
Tác giả: Jiaming Zhang, Xuan Wang, Fuyao Zhang, Yang Cao, Lingjuan Lyu, Wei Yang Bryan Lim
Tổng quan
Các tác giả giới thiệu LGWM, một mô hình thế giới có điều kiện theo hành động, không dùng bộ giải mã, dự đoán trực tiếp biểu diễn (representation) của màn hình GUI tiếp theo thay vì điểm ảnh, văn bản hay mã. Mô hình được huấn luyện trên 1,85 triệu chuyển tiếp GUI thực tế mà không cần chú thích ngữ nghĩa, và việc xác minh được quy về phép so sánh vectơ giữa dự đoán và quan sát.
Giới thiệu
An toàn của tác tử GUI phụ thuộc vào chuyển tiếp (màn hình cộng với hành động) chứ không chỉ màn hình, nên bộ giám sát chỉ nhìn màn hình có thể bị đánh lừa bằng cách tái sử dụng màn hình hợp lệ. Để xác minh chuyển tiếp cần một kỳ vọng về trạng thái tiếp theo, nhưng các mô hình thế giới GUI hiện có chỉ xuất kỳ vọng dưới dạng văn bản, mã hoặc hình ảnh, buộc phải dùng mô hình thứ hai để so sánh.
Kết quả
Điểm số không cần huấn luyện đạt AUC 0,987 trên RSWT-BENCH với 17 ms mỗi quyết định, ngang với các VLM mã nguồn đóng mạnh nhất và cao hơn khoảng 10 điểm AUC so với các mô hình thế giới GUI sinh, với độ trễ thấp hơn hơn ba bậc độ lớn. Hướng phần dư tách được vi phạm có hại khỏi vi phạm vô hại với AUC 0,953, trong khi các VLM được nhắc lệnh gần như ngẫu nhiên.
Kết luận
Dự đoán trong không gian biểu diễn giúp mô hình thế giới trở thành bộ xác minh nhanh và thực tế cho tác tử GUI, vượt ra ngoài vai trò mô phỏng và lập kế hoạch.