Lưu trữ — US — turtlesai
SuperGPQA: Bytedance mở mã nguồn benchmark cho LLM
ByteDance đã ra mắt SuperGPQA, một công cụ đánh giá mã nguồn mở để đánh giá LLMs trên 285 lĩnh vực thông qua 26,529 câu hỏi trắc nghiệm, sử dụng phản hồi từ con người để tinh chỉnh hiệu suất AI. Công cụ này nhằm mục đích kết nối khoảng cách giữa khả năng của LLMs và mục tiêu của trí tuệ nhân tạo tổng quát.
Điểm chính
- Bộ kiểm định SuperGPQA được tạo ra bởi Đội Mô hình Lớn Doubao của ByteDance và cộng đồng M-A-P mã nguồn mở. Bao gồm 26,529 câu hỏi lựa chọn từ nhiều lĩnh vực cấp độ sau đại học. Sử dụng cơ chế lọc thông tin cộng tác Human-LLM với phản hồi từ hơn 80 người chú thích chuyên gia. Cung cấp cái nhìn cho việc cải thiện LLM trong tương lai và so sánh hiệu năng. Mô hình DeepSeek-R1 đạt độ chính xác cao nhất là 61.82%, cho thấy sự khác biệt hiện tại trong hiệu suất LLM.
Vì sao quan trọng
- Phù hợp với Xu hướng CNTT năm 2025 tập trung vào việc tinh chỉnh trí tuệ nhân tạo và phát triển các công cụ đánh giá toàn diện.
- Các tiêu chí tương tự như MMLU nhấn mạnh về việc đánh giá khả năng trí tuệ nhân tạo để khuyến khích sự đổi mới tiếp theo.
- Sự gia tăng của các dự án mã nguồn mở đóng góp vào sự tiến bộ hợp tác trong công nghệ trí tuệ nhân tạo trên toàn thế giới.
Sự ra mắt của SuperGPQA đại diện cho một bước tiến quan trọng trong việc nâng cao khả năng của LLM và cung cấp một hệ thống đánh giá cấu trúc, đẩy mạnh tương lai phát triển của trí tuệ nhân tạo.