arXiv 2610.11942
올바른 화면, 잘못된 전이: GUI 에이전트 검증기로서의 월드 모델
Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents
AI추천 81
저자: Jiaming Zhang, Xuan Wang, Fuyao Zhang, Yang Cao, Lingjuan Lyu, Wei Yang Bryan Lim
개요
저자들은 다음 GUI 화면의 픽셀, 텍스트, 코드가 아니라 그 표현(representation)을 직접 예측하는 디코더 없는 행동 조건부 월드 모델 LGWM을 제안한다. 의미 주석 없이 실제 GUI 전이 1.85M개로 학습되며, 검증은 예측 벡터와 관측 벡터의 비교로 축소된다.
소개
GUI 에이전트의 안전성은 화면 자체가 아니라 전이(화면과 행동의 조합)에 달려 있어, 화면만 보는 모니터는 정상 화면을 재사용하는 공격에 속을 수 있다. 전이를 검증하려면 다음 상태에 대한 기대가 필요하지만, 기존 GUI 월드 모델은 이를 텍스트, 코드, 이미지로 출력해 두 번째 모델이 비교해야 한다.
결과
학습 없이 동작하는 점수는 RSWT-BENCH에서 17 ms의 결정 시간으로 0.987 AUC에 도달해 최상위 클로즈드소스 VLM과 대등하며, 생성형 GUI 월드 모델보다 약 10 AUC 포인트 높고 지연 시간은 3자릿수 이상 낮다. 잔차 방향은 유해한 위반과 무해한 위반을 0.953 AUC로 구분하지만, 프롬프트된 VLM은 거의 무작위 수준이다.
결론
표현 공간에서 예측하면 월드 모델을 시뮬레이션과 계획을 넘어 GUI 에이전트를 빠르게 검증하는 도구로 실용화할 수 있다.