Lưu trữ — US — techcrunch
Bài kiểm tra AGI mới đầy thách thức khiến hầu hết các mô hình AI gặp khó khăn
Tổ chức Arc Prize Foundation đã giới thiệu ARC-AGI-2, một bài kiểm tra mới dành cho các mô hình trí tuệ nhân tạo, thách thức khả năng thông thường của chúng, cho điểm thấp (1% - 1.3%) đối với các mô hình hàng đầu. Được thiết kế để đánh giá hiệu suất và khả năng thích ứng, bài kiểm tra này khác biệt so với ARC-AGI-1, mà trước đó rất phụ thuộc vào sức mạnh tính toán. Arc Prize Foundation đang tìm cách hoàn thiện quá trình đánh giá trí tuệ nhân tạo bằng một cuộc thi mới nhằm mục tiêu đạt 85% độ chính xác với chi phí thấp.
Điểm chính
- Quỷ thượng hộ Arc Prize thông báo một bài kiểm tra AI mới mang tên ARC-AGI-2.
- Hầu hết các mẫu AI, bao gồm cả các mẫu hạng đầu, đạt mục đích chỉ từ 1% đến 1.3% trong bài kiểm tra.
- Bài kiểm tra bao gồm các vấn đề giống như trò chơi giúp các mẫu lượng nhận nhận diện các mẫu hình hình ảnh.
- Việc đánh giá không chỉ là khả năng giải quyết vấn đề mà còn là sự hiệu quả trong việc học hỏi kiến thức mới.
- Greg Kamradt nhấn mạnh về sự quan trọng của hiệu quả cùng với khả năng giải quyết vấn đề.
- Bài kiểm tra trước đó, ARC-AGI-1, đã được sử dụng trong năm năm cho đến khi cũng bị vượt qua vào tháng 12 năm 2024.
- Mô hình o3 của OpenAI đạt mục đích cao trên ARC-AGI-1 nhưng lại thị hiệu kém trên ARC-AGI-2.
- Quỷ thượng hộ đã khởi động một cuộc thi dành cho các nhà phát triẻn với mục tiêu đạt 85% độ chính xác trên ARC-AGI-2 với chi phí tối thiểu.
Vì sao quan trọng
- ARC-AGI-2 đáp ứng yêu cầu của ngành công nghiệp về việc đo lường khả năng AI một cách chính xác hơn.
- Việc giới thiệu bài kiểm tra này phù hợp với các cuộc thảo luận liên quan đến phương pháp đánh giá AI sau khi các mô hình như o3 của OpenAI được ra mắt.
- Có một mối lo ngại ngày càng tăng về tính bền vững của chi phí phát triển AI được minh họa bởi hiệu suất của các mô hình AI hiện đại.
ARC-AGI-2 đặt ra một tiêu chuẩn mới cho việc đánh giá trí tuệ trí tuệ nhân tạo, nhấn mạnh vào hiệu suất và khả năng thích nghi, phản ánh nhu cầu ngày càng phát triển của ngành công nghệ về các tiêu chí mạnh mẽ trong hiệu suất trí tuệ nhân tạo.