arXiv 2610.11942
正しい画面、誤った遷移：GUIエージェントの検証器としてのワールドモデル
Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents
AI推薦81
著者: Jiaming Zhang, Xuan Wang, Fuyao Zhang, Yang Cao, Lingjuan Lyu, Wei Yang Bryan Lim
概要
著者らは、次のGUI画面のピクセル、テキスト、コードではなく、その表現（representation）を直接予測する、デコーダーを持たない行動条件付きワールドモデルLGWMを提案する。意味的アノテーションなしで実際のGUI遷移185万件により学習され、検証は予測ベクトルと観測ベクトルの比較に帰着する。
はじめに
GUIエージェントの安全性は画面単独ではなく遷移（画面と操作の組み合わせ）に依存するため、画面のみを監視するモニターは正規の画面を再利用する攻撃に欺かれうる。遷移を検証するには次の状態に関する期待が必要だが、既存のGUIワールドモデルはそれをテキスト、コード、画像として出力するため、比較には別のモデルが必要になる。
結果
学習不要のスコアはRSWT-BENCHで17ミリ秒/判定、AUC 0.987に達し、最上位のクローズドソースVLMと同等で、生成型GUIワールドモデルより約10 AUCポイント高く、遅延は3桁以上小さい。残差方向は有害な違反と無害な違反を0.953 AUCで分離するが、プロンプトされたVLMはほぼ偶然水準である。
結論
表現空間で予測することで、ワールドモデルはシミュレーションや計画を超え、GUIエージェントを高速に検証する実用的な手段となる。