アーカイブ — US — techcrunch
xAI、Grok 3のベンチマークについて虚偽を報告したか？
OpenAIがElon MuskのxAIを非難し、Grok 3のAIME 2025でのパフォーマンスに関する誤解を指摘して人工知能（AI）の基準に関する議論が巻き起こった。xAIは優越性を主張していたが、専門家はデータ表現の欠落を指摘し、誤解を招く可能性があるとし報告方法の検証が両社に及んだ。
要点
- OpenAIの従業員が、Grok 3のベンチマークを誤解させるとxAIを非難。
- xAIは、Grok 3がOpenAIのモデルを上回ったことを示すグラフを公開したが、重要なスコア情報（cons@64）を省略。
- 専門家は、AIMEのAIパフォーマンスの信頼性に疑問を呈している。
- Grok 3の報告されたパフォーマンス '@1' は、o3-mini-highの結果に劣っており、xAIの主張と矛盾している。
- xAIのイゴール・バブーシュキン氏は、OpenAIが過去に同様の手法を行っていたと主張して発表を擁護。
- この論争は、AIベンチマークの報告における複雑さと潜在的な偏りを浮き彫りにしている。
なぜ重要か
- AIモデルのベンチマークにおける透明性と信頼性への懸念が高まっています。
- ベンチマークの報告における相違点は、信頼性と責任に関するAI業界全体のより広範な問題を反映しています。
- 2025年現在、トレンドは公平な比較と評価を確保するために標準化されたAIパフォーマンス指標へと移行しています。
AIベンチマークに関する議論が続く中、Grok 3の論争が、業界全体でより透明性が高く標準化された評価手法の必要性を浮き彫りにしています。これにより、AIの進歩が正確に伝えられることが保証されます。