arXiv 2610.21082
SciΠvot: 과학 AutoResearch 에이전트의 결정적 순간에서 책임연구자 판단 벤치마킹
SciΠvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
AI추천 11
저자: Youran Sun, Xingyu Ren, Chugang Yi, Kejia Zhang, Di Wu, Yingkang Cao, Allen Zhou, Jianping Ye +10
개요
저자들은 시니어 연구자들이 26개 프로젝트(6개 과학 분야)에서 LLM 에이전트를 6개월간 운용하며 연구 판단을 수정한 기록으로 248개 사례의 벤치마크 SciΠvot을 구축했습니다. 각 사례에서 모델은 원래 LLM 계획과 사람이 수정한 대안 중 하나를 수정 이전의 프로젝트 기록만을 맥락으로 삼아 선택합니다. 이후 추론 노력 수준, 프로젝트 기록 접근 여부, 재고려 여부에 따라 모델과 사람의 성능을 비교했습니다.
소개
LLM 에이전트는 최소한의 감독만으로 수개월 동안 과학 실험을 수행할 수 있지만, 신뢰할 수 있는 자율 연구에는 올바른 과학적 판단도 필요합니다. 연구 결정은 개방형이고 프로젝트 맥락에 의존하기 때문에 이를 평가하기가 어렵습니다.
결과
중간 수준의 추론 노력과 프로젝트 기록이 주어졌을 때 모델들은 사람이 수정한 대안보다 원래 LLM 계획을 체계적으로 선호했으며, 다섯 개 최상위 모델 중 네 개는 선별된 사례에서 무작위 추측보다 낮은 성능을 보였습니다. 프로젝트 조건에서 가장 높은 정확도는 63.5%로, 신규 연구자의 73.4%에 미치지 못했습니다.
결론
SciΠvot은 자율 연구에 필요한 과학적 판단을 LLM 에이전트가 수행할 수 있는지를 체계적으로 측정할 방법을 제공합니다.