arXiv 2610.21767
연구 목표에서 과학적 완결까지: 근거 기반 물리학 연구를 통한 에이전트 평가
From Research Goals to Scientific Closure: Evaluating Agents Through Evidence-Supported Physics Research
AI추천 30
저자: Yijia Mao, Song Dai, Tao Chen, Xiangyu Lu, Linqian Zeng, Chenxi Hu, Sitong Zhou, Dongyang He +9
개요
저자들은 강장(strong-field), 아토초(attosecond) 및 인접 물리 분야에 걸친 50개의 전문가 검증 목표 지정형 물리 연구 과제로 구성된 벤치마크 PhysClosureBench를 소개합니다. 이 과제에서 에이전트는 연구를 조직하고 필요한 증거를 직접 생성·검증해야 합니다. 성능은 국소적 성취를 평가하는 20개 기준의 Atomic Score와, 필수 증거와 적용 범위 조건의 충족 여부를 평가하는 연구 완결(RC0–RC4) 등급으로 측정되며, 7개의 최첨단 LLM이 평가되었습니다.
소개
유용한 과학 에이전트는 개별 단계를 올바르게 수행하는 것을 넘어, 잘 뒷받침된 결론에 도달하는 연구를 조직할 수 있어야 합니다. 이를 측정하려면 개별 행동의 정확성뿐 아니라 연구 질문이 실제로 해결되었는지를 평가해야 합니다.
결과
Claude-Opus-5는 평균 Atomic Score 6.29/10으로 가장 높은 점수를 기록했지만, RC4에 도달한 시도는 32.7%에 불과했습니다. 8/10점 이상을 받은 시도 중에서도 36.2%는 여전히 RC4에 미치지 못했습니다.
결론
이 결과는 AI 에이전트의 국소적 과학적 성취와 완전한 연구 완결 능력 사이에 지속적인 격차가 존재함을 보여줍니다.