arXiv 2610.21767
研究目標から科学的クロージャーへ：根拠に裏付けられた物理研究を通じたエージェントの評価
From Research Goals to Scientific Closure: Evaluating Agents Through Evidence-Supported Physics Research
AI推薦30
著者: Yijia Mao, Song Dai, Tao Chen, Xiangyu Lu, Linqian Zeng, Chenxi Hu, Sitong Zhou, Dongyang He +9
概要
著者らは、強電場、アト秒、および隣接する物理分野にまたがる、専門家が検証した50の目標指定型物理研究タスクからなるベンチマーク「PhysClosureBench」を提案します。エージェントは研究を組み立て、必要な証拠を自ら生成・検証する必要があります。性能は、局所的な達成度を測る20項目のAtomic Scoreと、不可欠な証拠と適用範囲の条件が満たされているかを測る研究クロージャー（RC0–RC4）によって評価され、7つの最先端LLMが対象となりました。
はじめに
有用な科学エージェントは、個々の段階を正しく実行するだけでなく、十分な根拠に支えられた結論に至る研究を組み立てられる必要があります。これを測るには、個々の操作の正確さだけでなく、研究課題が実際に解決されたかを評価することが求められます。
結果
Claude-Opus-5は平均Atomic Score 6.29/10で最も高い得点を示しましたが、RC4に到達した試行は32.7%にとどまりました。8/10点以上の試行でも、36.2%はRC4に届いていません。
結論
この結果は、AIエージェントの局所的な科学的達成と、研究を完全にクロージャーする能力との間に持続的なギャップがあることを明らかにしています。