보관된 글 — US — techcrunch
새로운 AGI 테스트, 대부분의 AI 모델을 어렵게 만들어
아크상 재단이 AI 모델을 시험하는 새로운 테스트인 ARC-AGI-2를 소개했습니다. 이 테스트는 선두 모델들 사이에서 낮은 점수(1%-1.3%)를 보여주며 일반 지능을 도전합니다. 효율성과 적응력을 평가하는 이 테스트는 컴퓨팅 파워에 크게 의존했던 ARC-AGI-1과는 다릅니다. 이 재단은 새로운 대회를 통해 AI 평가를 다듬고, 저비용으로 85%의 정확성을 목표로 삼습니다.
핵심 정리
- Arc Prize Foundation은 ARC-AGI-2라는 새로운 AI 평가를 발표했습니다.
- 대부분의 AI 모델은 최고의 성적을 내는 경우에도 테스트에서 1%~1.3%의 점수를 받았습니다.
- 이 시험은 모델이 시각적 패턴을 인식해야 하는 퍼즐과 같은 문제들로 구성되어 있습니다.
- 이는 문제 해결 능력 뿐만 아니라 새로운 기술을 효과적으로 습득하는 능력도 평가합니다.
- 그렉 카므라트는 문제 해결 능력과 더불어 효율성의 중요성을 강조했습니다.
- 이전의 시험인 ARC-AGI-1은 2024년 12월에 넘어지기 전까지 5년간 사용되었습니다.
- OpenAI의 o3 모델은 ARC-AGI-1에서 높은 점수를 받았지만 ARC-AGI-2에서는 성적이 저조했습니다.
- 이 기금은 ARC-AGI-2에서 85% 정확도를 달성하고 최소 비용으로 목표를 이루려는 개발자들을 대상으로 대회를 개최했습니다.
왜 중요한가
- ARC-AGI-2가 AI 능력을 측정하는 더 나은 기준에 대한 산업 요구에 부응합니다.
- 이 테스트의 도입은 OpenAI의 o3 모델 공개 이후 AI 평가 방법에 대한 계속되는 토론과 일치합니다.
- 현대 AI 모델의 성능으로 나타난 AI 개발 비용의 지속 가능성에 대한 우려가 커지고 있습니다.
ARC-AGI-2는 인공지능 지능을 평가하는 새로운 기준을 제시하며, 효율성과 적응성을 강조하고 있습니다. 이는 기술 산업에서 강건한 성능 기준에 대한 요구가 높아지면서 진화해 나가는 것을 반영하고 있습니다.