arXiv 2610.21082
SciΠvot：科学的AutoResearchエージェントの決定的瞬間における主任研究者の判断のベンチマーク
SciΠvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
AI推薦11
著者: Youran Sun, Xingyu Ren, Chugang Yi, Kejia Zhang, Di Wu, Yingkang Cao, Allen Zhou, Jianping Ye +10
概要
著者らは、シニア研究者が6つの科学分野にまたがる26のプロジェクトでLLMエージェントを6か月間運用し、研究判断を修正した記録から、248件のベンチマークSciΠvotを構築しました。各ケースでモデルは、元のLLM計画と人間が修正した代替案のどちらかを、修正前のプロジェクト記録のみを文脈として選択します。推論努力の水準、プロジェクト記録へのアクセス、再検討の有無によって、モデルと人間の性能を比較しました。
はじめに
LLMエージェントは、わずかな監督のもとで数か月にわたり科学実験を実行できますが、信頼できる自律的研究には健全な科学的判断も必要です。研究上の決定は自由記述的で文脈に依存するため、その評価は困難です。
結果
中程度の推論努力でプロジェクト記録が与えられると、モデルは人間が修正した代替案よりも元のLLM計画を体系的に選好し、最先端モデル5つのうち4つは選ばれたケースでチャンスレベルを下回りました。プロジェクト条件での最高精度は63.5%で、新人研究者の73.4%には及びませんでした。
結論
SciΠvotは、自律的研究に必要な科学的判断をLLMエージェントが行えるかを体系的に測定する手段を提供します。