Từ mục tiêu nghiên cứu đến khép kín khoa học: Đánh giá tác tử qua nghiên cứu vật lý có bằng chứng hỗ trợ

Tổng quan

Các tác giả giới thiệu PhysClosureBench, một bộ benchmark gồm 50 nhiệm vụ nghiên cứu vật lý có mục tiêu xác định, được chuyên gia kiểm chứng, thuộc lĩnh vực trường mạnh, attosecond và các lĩnh vực lân cận, trong đó tác tử phải tự tổ chức nghiên cứu và tạo, kiểm chứng bằng chứng cần thiết. Hiệu năng được đo bằng Atomic Score gồm 20 tiêu chí để đánh giá thành tựu cục bộ, và bằng các mức Research Closure từ RC0 đến RC4 để xem các bằng chứng thiết yếu và điều kiện phạm vi áp dụng có được đáp ứng hay không. Bảy LLM tiên tiến được đánh giá trên benchmark này.