アーカイブ — US — techcrunch
新しい挑戦的なAGIテストが多くのAIモデルを困惑させる
Arc Prize Foundationは、AIモデルの一般的知能を挑戦する新しいテストであるARC-AGI-2を導入しました。このテストは、トップモデルの間で低いスコア（1％〜1.3％）を示しました。効率性と適応性を評価するために設計されたこのテストは、計算能力に大きく依存していたARC-AGI-1とは異なります。Arc Prize Foundationは、新しいコンテストでAIの評価を洗練し、低コストで85％の精度を目指しています。
要点
- Arc Prize Foundation が新しいAI評価システムである ARC-AGI-2 を発表しました。
- トップパフォーマーを含むほとんどのAIモデルは、そのテストでわずか1％から1.3％しかスコアを取れませんでした。
- このテストは、視覚パターンを特定することを求めるパズルのような問題から成り立っています。
- 問題解決スキルだけでなく、新しいスキルを獲得する効率性も評価されます。
- Greg Kamradt は、問題解決能力と同様に効率性の重要性を強調しました。
- 以前のテストである ARC-AGI-1 は、2024年12月に追い越されるまで5年間使用されていました。
- OpenAI の o3 モデルは ARC-AGI-1 で高得点を獲得しましたが、ARC-AGI-2 では低いスコアでした。
- Foundation は、ARC-AGI-2 で85％の正解率を目指し、かつ最少コストで開発者向けのコンテストを開催しました。
なぜ重要か
- ARC-AGI-2 は、AIの能力を測定するためのより良いベンチマークの必要性に対応しています。
- このテストの導入は、OpenAIのo3などのモデルのリリース後のAIの評価方法に関する議論と一致しています。
- 現代のAIモデルの性能によって示されるAI開発コストの持続可能性について、懸念が高まっています。
ARC-AGI-2は、AIの知能を評価する新たな基準を設定し、効率性と適応性を重視しています。これは、テック業界がAIの性能に関する信頼性の高い基準を求める要求の変化を反映しています。