arXiv 2610.21082
SciΠvot: Đánh giá phán đoán của nhà nghiên cứu chính tại các thời điểm then chốt của tác tử AutoResearch khoa học
SciΠvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
AI11 lượt đề xuất
Tác giả: Youran Sun, Xingyu Ren, Chugang Yi, Kejia Zhang, Di Wu, Yingkang Cao, Allen Zhou, Jianping Ye +10
Tổng quan
Các tác giả xây dựng SciΠvot, một bộ đánh giá gồm 248 trường hợp, dựa trên hồ sơ sáu tháng trong đó các nhà nghiên cứu cao cấp chạy tác tử LLM trên 26 dự án thuộc sáu lĩnh vực khoa học và liên tục sửa phán đoán nghiên cứu của chúng. Trong mỗi trường hợp, mô hình chọn giữa kế hoạch LLM ban đầu và phương án đã được con người sửa, chỉ dùng hồ sơ dự án có trước lúc sửa làm bối cảnh. Nhóm nghiên cứu so sánh hiệu suất của mô hình và con người theo các mức nỗ lực suy luận, có hoặc không có hồ sơ dự án, và có hoặc không có bước xem xét lại.
Giới thiệu
Tác tử LLM có thể duy trì thí nghiệm khoa học trong nhiều tháng với rất ít giám sát, nhưng nghiên cứu tự động đáng tin cậy cũng đòi hỏi phán đoán khoa học đúng đắn. Việc đánh giá phán đoán này khó vì các quyết định nghiên cứu mang tính mở và phụ thuộc vào bối cảnh dự án.
Kết quả
Ở mức nỗ lực suy luận trung bình khi có hồ sơ dự án, các mô hình hệ thống hóa ưu tiên kế hoạch LLM gốc hơn phương án con người sửa, và bốn trong năm mô hình tiên tiến nhất cho kết quả dưới mức ngẫu nhiên trên các trường hợp được chọn. Độ chính xác cao nhất trong điều kiện có hồ sơ dự án là 63,5%, thấp hơn 73,4% của các nhà nghiên cứu mới.
Kết luận
SciΠvot cung cấp một cách đánh giá có hệ thống xem tác tử LLM có thể đưa ra phán đoán khoa học mà nghiên cứu tự động cần hay không.