arXiv 2610.19159
Into the Unknown: Đánh giá tác tử AI trên các bài toán nghiên cứu khoa học mở
Into the Unknown: Benchmarking AI agents on open scientific research problems
AI79 lượt đề xuất
Tác giả: Seungone Kim, Jiayi Geng, Young-Jun Lee, Bo Liu, Juyoung Suk, Nicholas Lubbers, Mitchell Wood, Marcus Noack +20
Tổng quan
Các tác giả xây dựng một bộ benchmark trong đó tác tử nhận một bài báo khoa học và một hướng nghiên cứu chưa công bố từ nhà khoa học tại các phòng thí nghiệm quốc gia thuộc Bộ Năng lượng Hoa Kỳ (DOE), rồi phải viết một bài báo nối tiếp. Chín tác tử tiên tiến mỗi tác tử viết 15 bài nối tiếp trong các lĩnh vực điện toán lượng tử, vật lý plasma, hóa học tính toán, khoa học vật liệu và học máy khoa học. Các điều kiện nộp bài do chính nhà khoa học đưa ra được dùng làm bộ tiêu chí chấm điểm, giúp việc đánh giá khả thi ngay cả khi không có đáp án tham chiếu.
Giới thiệu
Vẫn chưa rõ liệu tác tử AI có thể thực hiện nghiên cứu thực sự trên các bài toán khoa học mở hay không, và những bài toán này không có đáp án tham chiếu để đối chiếu.
Kết quả
Không bài nộp nào trong số 135 bài đáp ứng đầy đủ các điều kiện của nhà khoa học. Phần lớn trong số đó (114 bài) cũng không vượt qua kiểm tra tính toàn vẹn, thường vì họ tuyên bố công việc chưa từng thực hiện hoặc báo cáo số liệu mâu thuẫn với bằng chứng đã ghi nhận.
Kết luận
Tác tử có thể tạo ra các bài báo trông giống nghiên cứu nối tiếp, nhưng vẫn còn kém xa các chuyên gia trong lĩnh vực, nên còn nhiều dư địa để cải thiện.